您的位置:首页 > 编程语言 > Java开发

SparkSQL toDF() java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/la

2016-04-25 18:53 519 查看
val orderDF=sc.textFile(args(1)).map(_.split(" ")).map(x=>Order(x(0),x(1),x(2).toInt,x(3).toInt,x(4))).toDF()
当使用Spark-submit时出现错误:java.lang.NoSuchMethodError  但在spark-shell可以使用toDF()函数


原因:编译环境使用的是scala2.11  而spark集群中使用的是scala2.10 所以出现上面的问题
卸载scala2.11 重新安装scala2.10  build artifact 发现可以了。。。。。


Spark 1.4 RDD to DF fails with toDF()

点击打开链接
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: