spark on yarn 无法提交任务问题
2017-09-13 15:01
344 查看
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
spark任务提交出错。
原因:
spark-2.0后jersey升级到了ver2.x版本,但实际使用时还需要1.x。导致报错。
解决办法:利用maven或sbt进行打包,包含jersey依赖。得到jersey-bundle-1.17.1.jar
将jersey-bundle-1.17.1.jar加入$SPARK_HOME/jars目录,重启spark即可。
若完成拷贝后第一次启动错误依旧,则可以在spark-submit增加--jars参数,加入jersey-bundle-1.17.1.jar路径。以后就不需要了。
或者重新载入Spark的环境变量,进行依赖缓存刷新,亦可解决问题。
结论:
1、当前spark开发趋于稳定,但依然有众多遗留问题,多留意版本变更和更新日志,可及时得到信息更新。
2、spark目录下的jars依赖并不是实时更新,发生变动后,需要重新载入。
3、spark-env中SPARK_CLASSPATH变量,在spark1.0版本中使用,但在2.x版本已被弃用。虽然有效但可以通过其他多种方式进行配置。extra-classpath或者jars或者conf配置。
spark任务提交出错。
原因:
spark-2.0后jersey升级到了ver2.x版本,但实际使用时还需要1.x。导致报错。
解决办法:利用maven或sbt进行打包,包含jersey依赖。得到jersey-bundle-1.17.1.jar
将jersey-bundle-1.17.1.jar加入$SPARK_HOME/jars目录,重启spark即可。
若完成拷贝后第一次启动错误依旧,则可以在spark-submit增加--jars参数,加入jersey-bundle-1.17.1.jar路径。以后就不需要了。
或者重新载入Spark的环境变量,进行依赖缓存刷新,亦可解决问题。
结论:
1、当前spark开发趋于稳定,但依然有众多遗留问题,多留意版本变更和更新日志,可及时得到信息更新。
2、spark目录下的jars依赖并不是实时更新,发生变动后,需要重新载入。
3、spark-env中SPARK_CLASSPATH变量,在spark1.0版本中使用,但在2.x版本已被弃用。虽然有效但可以通过其他多种方式进行配置。extra-classpath或者jars或者conf配置。
相关文章推荐
- Spark _on_Yarn 资源池内存限制测试报告 - 防止"非法"任务的提交
- Spark on Yarn:任务提交参数配置
- Windows Spark On YARN 提交任务到CDH集群
- Spark On Yarn 提交任务报错ERROR SparkContext: Error initializing SparkContext.
- spark on yarn 提交任务出错
- Spark on Yarn提交任务缓慢
- spark on yarn提交任务时一直显示ACCEPTED
- hive on spark通过YARN-client提交任务不成功
- 关于spark-submit 使用yarn-client客户端提交spark任务的问题
- Spark on Yarn:任务提交参数配置
- Spark on Yarn遇到的几个问题
- Spark On Yarn:提交Spark应用程序到Yarn
- 缓存jar包来提升spark on Yarn job的提交速度
- spark 2.0 on yarn 问题
- yarn队列提交spark任务权限控制
- spark on yarn的技术挑战及存在的问题
- Spark On Yarn:提交Spark应用程序到Yarn
- Spark on yarn的内存分配问题
- spark-on-yarn作业提交缓慢优化
- Spark On Yarn:提交Spark应用程序到Yarn