关于MapReduce,Map能完全执行,Reduce执行到一半卡住不执行
2015-10-10 15:28
260 查看
卡住了几个小时,死活停滞不前,发现后根据提示开始排错,进入50030,进入作业发现
这说明作业在map之完后的shuffle阶段中,reduce无法从map处拷贝数据,是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常,然后开始各种检查:所有节点hosts中写的完全相通,不是节点名称不同或者节点没有完全加上造成的,排除;找到slaves发现写的也完全相同,不是节点缺失有误,最后查看了防火墙的状态,发现其中一个节点的防火墙没有关闭,找到原因,service iptables stop,然后重新提交作业,成功运行
这说明作业在map之完后的shuffle阶段中,reduce无法从map处拷贝数据,是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常,然后开始各种检查:所有节点hosts中写的完全相通,不是节点名称不同或者节点没有完全加上造成的,排除;找到slaves发现写的也完全相同,不是节点缺失有误,最后查看了防火墙的状态,发现其中一个节点的防火墙没有关闭,找到原因,service iptables stop,然后重新提交作业,成功运行
相关文章推荐
- AMQP消息服务器RabbitMQ
- ListView实现下拉刷新(一)建立头布局
- navigationController Pop回指定页面
- 关键字as
- linux输入子系统(6)-input子系统介绍及结构图
- Spring4MVC使用记录
- mysqld与mysqld_safe的区别
- Connection for controluser as defined in your configuration failed phpmyadmin xampp
- Sicily. 全排序输出
- nginx proxy超时报错 upstream timed out (110: Connec...
- 我的进阶曲线十二
- Deep Learning Papers
- 读《集中优势兵力,各个歼灭敌人》
- js将数字转换成中文
- 安卓发展史以及安卓和苹果对比PPT
- 银联SDK
- lintcode :二叉树的最大深度
- C++Primer第五版 练习11.25(解答)
- linux 内核与用户空间通信之netlink使用方法
- bootstrap属性