hadoop Map 100% reduce 0% 问题
2014-08-24 18:46
253 查看
问题描述:
在伪分布式测试程序时Map 100%完成,reduce 总是在0%无法完成。
原因:
我遇到的问题是hostname主机名引起的,由于之前修改了hostname(/etc/sysconfig/network),hadoop配置文件slave中是localhost而/etc/sysconfig/network中是我修改的其他名字。
从输出目录的log文件中的job配置文件中可以查看到mapreduce.job.submithost的配置,reduce一定要能通过这个值访问到提交作业的节点(jobtracker)。
解决办法:
在/etc/sysconfig/network中修改hostname的配置并确定与hostname命令的输出保持一致,重启hadoop。
在伪分布式测试程序时Map 100%完成,reduce 总是在0%无法完成。
原因:
我遇到的问题是hostname主机名引起的,由于之前修改了hostname(/etc/sysconfig/network),hadoop配置文件slave中是localhost而/etc/sysconfig/network中是我修改的其他名字。
从输出目录的log文件中的job配置文件中可以查看到mapreduce.job.submithost的配置,reduce一定要能通过这个值访问到提交作业的节点(jobtracker)。
解决办法:
在/etc/sysconfig/network中修改hostname的配置并确定与hostname命令的输出保持一致,重启hadoop。
相关文章推荐
- hadoop问题之 运行一直卡在map100% ,reduce0%
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- Hadoop 少量map/reduce任务执行慢问题
- Hadoop跑map-reduce任务时停滞不前的问题(二)
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- 遇到问题---hadoop---reduce执行时又重新map
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- hadoop map与reduce的问题
- 【转】hadoop中map和reduce的数量设置问题
- Hadoop Context 写文件遇到的问题(reduce 100% 后失败)
- hadoop编译map/reduce时的问题
- 【hadoop2.2(yarn)】基于yarn成功执行分布式map-reduce,记录问题解决过程。
- hadoop中map和reduce的数量设置问题
- 【Hadoop】Map和Reduce个数问题
- hadoop中map和reduce的数量设置问题
- Hadoop,往map/reduce中传值的问题解决方法实例
- Hadoop中map与reduce的个数问题