SparkSQL toDF() java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/la
2016-04-25 18:53
519 查看
val orderDF=sc.textFile(args(1)).map(_.split(" ")).map(x=>Order(x(0),x(1),x(2).toInt,x(3).toInt,x(4))).toDF()
当使用Spark-submit时出现错误:java.lang.NoSuchMethodError 但在spark-shell可以使用toDF()函数
原因:编译环境使用的是scala2.11 而spark集群中使用的是scala2.10 所以出现上面的问题
卸载scala2.11 重新安装scala2.10 build artifact 发现可以了。。。。。
点击打开链接
当使用Spark-submit时出现错误:java.lang.NoSuchMethodError 但在spark-shell可以使用toDF()函数
原因:编译环境使用的是scala2.11 而spark集群中使用的是scala2.10 所以出现上面的问题
卸载scala2.11 重新安装scala2.10 build artifact 发现可以了。。。。。
Spark 1.4 RDD to DF fails with toDF()
点击打开链接
相关文章推荐
- Java_语言基础
- struts2开发10--struts2异常处理机制
- Java中字符串和其它类型之间的转换
- java.util.Properties
- 【收藏用】--切勿转载JAVA 使用Dom4j 解析XML
- java基础知识学习笔记
- springmvc上传文件报错org.springframework.beans.BeanInstantiationException: Could not instantiate bean class [org.springframework.web.multipart.MultipartFile]
- 七种排序算法的JAVA实现
- java显示声音波形图示例
- Java中Vector和ArrayList的区别
- Java多线程系列--“基础篇”03之 Thread中start()和run()的区别
- java实现冒泡排序,选择排序,插入排序算法详解
- java实现发送邮件工具
- [spring源码学习]三、IOC源码——自定义配置文件读取
- java实现发送邮件工具
- springmvc 常用的注解
- Java学习-16天
- java实现将毫秒数转化为yyyy-MM-dd格式的数据
- RxJava----操作符:创建操作符
- 详解Java中的注解