hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
2014-07-10 12:29
567 查看
通过打包运行MapReduce程序的时候,当程序中包含自定义的类时,job执行时会出现异常:java.lang.RuntimeException: java.lang.ClassNotFoundException,抛出异常的原因是由执行task的节点找不到自定义的类引起的,mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时,为了使得各个从节点上能执行task任务(即map和reduce函数),会在作业提交时将运行作业所需的资源,包括作业jar文件、配置文件和计算所得的输入划分,复制到HDFS上一个以作业ID命名的目录中,并且作业jar的副本较多,以保证tasktracker运行task时可以访问副本,执行程序。
解决这个异常的关键就是要让task的节点找到自定义的类,我试了很多方法,都失败了,最后还是在官网上找到了DistributedCache类,幸好hadoop设计者早就考虑到了这个问题,用DistributedCache的addFileToClassPath()方法就可以解决那个异常。还有一点要注意DistributedCache.addFileToClassPath(new Path(""), Conf)里的Path必须是HDFS上的文件,所以需要把jar包也上传到HDFS上,要用”hdfs://master:9100/input/app.jar“这种方式获取文件,执行Job,就OK了。
解决这个异常的关键就是要让task的节点找到自定义的类,我试了很多方法,都失败了,最后还是在官网上找到了DistributedCache类,幸好hadoop设计者早就考虑到了这个问题,用DistributedCache的addFileToClassPath()方法就可以解决那个异常。还有一点要注意DistributedCache.addFileToClassPath(new Path(""), Conf)里的Path必须是HDFS上的文件,所以需要把jar包也上传到HDFS上,要用”hdfs://master:9100/input/app.jar“这种方式获取文件,执行Job,就OK了。
相关文章推荐
- hadoop 伪分布式系统命令行运行java类报Exception in thread "main" java.lang.ClassNotFoundException:解决办法
- hadoop运行报错: java.lang.ClassNotFoundException解决方法
- eclipse打包jar发布到linux下运行出错(java.lang.ClassNotFoundException: cmd.WordCount$MyMapper )
- 解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$Token
- 运行hadoop jar 报错java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper及mapreduce执行
- Ant打包后,运行时却报错:java.lang.ClassNotFoundException: com.***.***.impl.BaseInfo$1
- hadoop运行报错: java.lang.ClassNotFoundException解决方法
- Hadoop-2.2.0 wordcount 编译打包执行 (java.lang.ClassNotFoundException)
- Mac系统下执行hadoop jar 运行在某包内的程序 提示java.lang.ClassNotFoundException的解决方法
- MyEclipse 打包到hadoop集群上运行MR程序提示ClassNotFoundException的两种原因
- 解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper问题【转】
- 用commons-validator时java.lang.ClassNotFoundException: org.apache.commons.digester.Rule异常原因
- Android最新的开发环境运行原来环境开发的程序报java.lang.ClassNotFoundException错误解决
- java.lang.ClassNotFoundException: com.hadoop.WordCount$Map
- MyEclipse 或者Eclipse运行main函数,报java.lang.ClassNotFoundException
- 启动hadoop出现java.lang.ClassNotFoundException: javax.net.SocketFactory
- java运行jar包 java.lang.ClassNotFoundException
- hadoop客户端提交作业错误:java.lang.RuntimeException: java.lang.ClassNotFoundException: Job$Mappe
- hadoop start-all.sh 启动出错java.lang.ClassNotFoundException: start-all.sh
- maven项目 无法运行main方法的问题。java.lang.ClassNotFoundException