spark与scala jar包版本冲突问题
2016-10-26 11:44
537 查看
例如spark1.6.0是基于scala2.10.x的,如果用intellj创建基于scala2.11.x的项目,打包出来的jar包,用spark-submit运行spark任务时,会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常。
例如代码里有下面这样的Map代码,
val
numbers = Map("one"
-> 1,
"two" ->
2, "three"
-> 3)
val airports =
Map("arrival"
-> "Otopeni",
"SFO"->
"San Fran")
运行时会抛出:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
at com.jd.jd_ad.report.auto.week.cost.CPSCal$$anonfun$main$1.apply(CPSCal.scala:24)
at com.jd.jd_ad.report.auto.week.cost.CPSCal$$anonfun$main$1.apply(CPSCal.scala:24)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
at com.jd.jd_ad.report.auto.week.cost.CPSCal$.main(CPSCal.scala:24)
at com.jd.jd_ad.report.auto.week.cost.CPSCal.main(CPSCal.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:619)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:169)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:192)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:111)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
它提示找不到Map相关的方法,原因就是找不到匹配的scala版本的Map相关方法。
另外,经过个人试验,直接修改build.sbt里面的scalaVersion,再重新打包,打包出来的还是基于原先scala版本编译的,虽然依赖的是新的scala版本jar包,例如修改成2.10.5后,打包出来的jar包名字仍然为hello-es-hadoop_2.11-1.0.jar,但重新创建project后就好了。
例如代码里有下面这样的Map代码,
val
numbers = Map("one"
-> 1,
"two" ->
2, "three"
-> 3)
val airports =
Map("arrival"
-> "Otopeni",
"SFO"->
"San Fran")
运行时会抛出:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
at com.jd.jd_ad.report.auto.week.cost.CPSCal$$anonfun$main$1.apply(CPSCal.scala:24)
at com.jd.jd_ad.report.auto.week.cost.CPSCal$$anonfun$main$1.apply(CPSCal.scala:24)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
at com.jd.jd_ad.report.auto.week.cost.CPSCal$.main(CPSCal.scala:24)
at com.jd.jd_ad.report.auto.week.cost.CPSCal.main(CPSCal.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:619)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:169)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:192)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:111)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
它提示找不到Map相关的方法,原因就是找不到匹配的scala版本的Map相关方法。
另外,经过个人试验,直接修改build.sbt里面的scalaVersion,再重新打包,打包出来的还是基于原先scala版本编译的,虽然依赖的是新的scala版本jar包,例如修改成2.10.5后,打包出来的jar包名字仍然为hello-es-hadoop_2.11-1.0.jar,但重新创建project后就好了。
相关文章推荐
- scala,spark版本冲突问题
- 关于Spark 和 scala 版本冲突的问题
- 关于eclipse中jar冲突问题(不同版本的jar)
- 通过maven-shade-plugin 解决Elasticsearch与spark的jar包冲突问题
- jetty新旧版本jar包冲突问题
- IDEA spark 中scala的编译版本问题解决NoSuchMethodError (jvm )
- Maven中jar版本冲突问题的解决
- Scala学习2之spark学习6之scala版本不同的问题
- Hadoop运行jar包jdk版本冲突问题解决
- Spark的guava jar包版本冲突导致获取Elasticsearch连接失败
- spark与scala版本问题
- 通过maven-shade-plugin 解决Elasticsearch与spark的jar包冲突问题
- retrofit2和rxjava2一起使用时的rxjava.jar版本冲突问题解决
- 利用JAVA中的endorsed技术解决jar包版本冲突的问题
- Tomcat6 JBPM4 jar包冲突问题
- JQuery版本冲突问题
- 项目中jsp-api.jar 包与tomcat冲突问题
- java.lang.NoSuchMethodError问题处理(同一类型的jar包有不同版本存在)
- SSH整合jar包冲突问题
- Tomcat6 JBPM4 jar包冲突问题