在运行Hfile的MR如果任务client结束OOM
2015-07-28 14:30
246 查看
在运行MR将HDFS转换成HFile什么时候。例如,会发生以下的异常:
14/07/09 18:02:59 INFO mapred.JobClient: map 83% reduce 0%
14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILED
attempt_201401091245_59030413_m_000001_0: Separator: \u0001
14/07/09 18:03:01 INFO mapred.JobClient: map 85% reduce 0%
14/07/09 18:03:22 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_1, Status : FAILED
Error: Java heap space
attempt_201401091245_59030413_m_000001_1: Separator: \u0001
出现了client端的OOM。导致任务运行失败。
这个的解决方式是在Hadoop的配置文件hadoop-site.xml中。加入例如以下配置:
14/07/09 18:02:59 INFO mapred.JobClient: map 83% reduce 0%
14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILED
attempt_201401091245_59030413_m_000001_0: Separator: \u0001
14/07/09 18:03:01 INFO mapred.JobClient: map 85% reduce 0%
14/07/09 18:03:22 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_1, Status : FAILED
Error: Java heap space
attempt_201401091245_59030413_m_000001_1: Separator: \u0001
出现了client端的OOM。导致任务运行失败。
这个的解决方式是在Hadoop的配置文件hadoop-site.xml中。加入例如以下配置:
<property> <name>mapred.child.java.opts</name> <value>-Xmx4096m</value> </property>
通过加内存的方式,解决这个问题!
相关文章推荐
- 乐观的程序猿
- mongo-java-driver 3.0版本学习例子 根据官网指南写的
- 数据库操作
- JavaScript编程中的Promise使用大全
- 《C++编程思想》第五章 函数重载与缺省参数 (原书代码+习题+解答)
- 微信公众帐号开发教程第18篇-应用实例之音乐搜索
- Factorization Machines 学习笔记(一)预测任务
- find: paths must precede expression
- bzoj2818
- spray 处理 response 的通用函数
- 股价与成交量那些不为人知的秘密
- HDU 2019 数列有序!
- Struts2.3.16.1+Hibernate4.3.4+Spring4.0.2 框架整合
- android动画介绍--Animation 实现loading动画效果
- Fibonacci问题.java
- EL表达式中param的分析
- 38款 流媒体服务器开源软件
- (2) 我的结果- spec2006中精确的simulation points执行点
- android动画介绍--Animation 实现loading动画效果
- 华为0基金会——图片整理