您的位置:首页 > 编程语言 > Java开发

hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因

2014-07-10 12:29 567 查看
通过打包运行MapReduce程序的时候,当程序中包含自定义的类时,job执行时会出现异常:java.lang.RuntimeException: java.lang.ClassNotFoundException,抛出异常的原因是由执行task的节点找不到自定义的类引起的,mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时,为了使得各个从节点上能执行task任务(即map和reduce函数),会在作业提交时将运行作业所需的资源,包括作业jar文件、配置文件和计算所得的输入划分,复制到HDFS上一个以作业ID命名的目录中,并且作业jar的副本较多,以保证tasktracker运行task时可以访问副本,执行程序。

解决这个异常的关键就是要让task的节点找到自定义的类,我试了很多方法,都失败了,最后还是在官网上找到了DistributedCache类,幸好hadoop设计者早就考虑到了这个问题,用DistributedCache的addFileToClassPath()方法就可以解决那个异常。还有一点要注意DistributedCache.addFileToClassPath(new Path(""), Conf)里的Path必须是HDFS上的文件,所以需要把jar包也上传到HDFS上,要用”hdfs://master:9100/input/app.jar“这种方式获取文件,执行Job,就OK了。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  mapreduce hadoop 异常
相关文章推荐