SparkStreaming运行出现 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 错误
2016-01-30 11:56
836 查看
1、简介
最近在摸索利用sparkstreaming从kafka中准实时的读取数据,并将在读取的过程中,可以做一个简单的分析,最后将分析结果写入hbase中。
2、出现的问题
(1)将从kafka中读取数据的程序打包到服务器上运行,发现需要用kafka相关的包,因此采用assembly的方法打包即可。
(2)运行 spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase" --master local MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar出现如下错误:
java.lang.NoClassDefFoundError: org/apache/htrace/Trace 这个错误很明显是由于无法加载对应的类,也就是没有添加相应的jar包。
分析原因:这个对应jar是一个htrace-core-3.1.0-incubating.jar 的jar包。本以为只需要在pom文件中添加对应的依赖项即可。但是我尝试的结果还是报同样的错误。
解决的方法:
既然还是报同样的错误,于是就执行在执行命令的时候,通过命令行参数的形式指定对应的jar包的路径即可。最后运行的命令如下所示:
spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase --master local --driver-class-path /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar
同样也可以在yarn-cluster模式下运行:
spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase --master yarn-cluster --driver-class-path /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar
最近在摸索利用sparkstreaming从kafka中准实时的读取数据,并将在读取的过程中,可以做一个简单的分析,最后将分析结果写入hbase中。
2、出现的问题
(1)将从kafka中读取数据的程序打包到服务器上运行,发现需要用kafka相关的包,因此采用assembly的方法打包即可。
(2)运行 spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase" --master local MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar出现如下错误:
java.lang.NoClassDefFoundError: org/apache/htrace/Trace 这个错误很明显是由于无法加载对应的类,也就是没有添加相应的jar包。
分析原因:这个对应jar是一个htrace-core-3.1.0-incubating.jar 的jar包。本以为只需要在pom文件中添加对应的依赖项即可。但是我尝试的结果还是报同样的错误。
解决的方法:
既然还是报同样的错误,于是就执行在执行命令的时候,通过命令行参数的形式指定对应的jar包的路径即可。最后运行的命令如下所示:
spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase --master local --driver-class-path /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar
同样也可以在yarn-cluster模式下运行:
spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase --master yarn-cluster --driver-class-path /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar
相关文章推荐
- apache commons io 提案
- 重启Apache报错apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName ... waiting的解决方法
- Ubuntu下开启Apache重写扩展
- Apache OFBiz技术架构
- apache kafka监控系列-KafkaOffsetMonitor
- apache的开源工具common-fileupload实现文件上传和下载
- Apache Rewrite规则详解
- apache commons io 未来任务与展望
- Apache Spark Jobs 性能调优(二)
- 如何设置Apache中的最大连接数
- Apache Spark Jobs 性能调优(一)
- Java Code Examples for org.apache.commons.codec.binary.Base64InputStream
- Apache配置实现日志按天分割并删除指定几天前的日志
- Manual install on Windows 7 with Apache and MySQL
- Apache Shiro 使用手册(五)Shiro 配置说明
- (转)网站隔几天打不开,多次重启Apache解决办法
- Apache Commons工具集简介
- Apache shiro 文章推荐
- Apache OFBiz 研究记录01
- CentOS 6.6 (Desktop)部署Apache、MySQL以及Eclipse Luna等记录