Hadoop 默认配置的问题
2013-10-18 20:57
148 查看
MapReduce时内存溢出,报如下图错误,
![](http://img.blog.csdn.net/20131018204932250?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXVqaWFuemhvbmc1MjA=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
通过修改配置文件mapred-site.xml,增加如下属性,默认是200M,提高到400M,不用重启Hadoop集群。
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx400m</value>
</property>
Map和Reduce任务运行时Java虚拟机指定的内存的大小,默认-Xmx200m,分配给每个任务200MB内存
应该也可以通过代码设置,采用代码设置就针对本个Job起作用
conf.set("mapred.child.java.opts", "-Xmx400m");
Task任务超时,报 failed to report status for 600 seconds. Killing!
控制超时的属性是:mapred.task.timeout,默认600000ms,即600s。
修改配置文件mapred-site.xml 对所有Job起作用
也可以直接设置,设置为0时,不超时。对本个Job起作用
通过修改配置文件mapred-site.xml,增加如下属性,默认是200M,提高到400M,不用重启Hadoop集群。
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx400m</value>
</property>
Map和Reduce任务运行时Java虚拟机指定的内存的大小,默认-Xmx200m,分配给每个任务200MB内存
应该也可以通过代码设置,采用代码设置就针对本个Job起作用
conf.set("mapred.child.java.opts", "-Xmx400m");
Task任务超时,报 failed to report status for 600 seconds. Killing!
控制超时的属性是:mapred.task.timeout,默认600000ms,即600s。
修改配置文件mapred-site.xml 对所有Job起作用
也可以直接设置,设置为0时,不超时。对本个Job起作用
conf.set("mapred.task.timeout", "0");
相关文章推荐
- Hadoop默认模式、默认配置问题
- hadoop2.6.3配置及遇到的问题
- 在xbox配置hadoop伪分布中主要遇到的问题以及解决的办法
- Android Studio 配置模拟器AVD存放路径(默认在c盘,解决c盘空间不够问题)
- Hadoop环境配置过程中可能遇到问题的解决方案
- 关于apache配置虚拟主机后仍打开默认Apache目录的问题
- 集群配置虚拟主机及部署Hadoop集群碰到的问题
- 安装配置jkd时出现的默认version问题
- hadoop集群配置(以ubuntu为例,我自己用的是centOS)和出现的一个问题
- hadoop集群默认配置和常用配置
- hadoop集群配置、问题解决办法
- 配置hadoop集群问题
- hadoop配置问题解决汇总
- Hadoop配置小问题
- hadoop配置中遇到的问题
- windows下MyEclipse初次配置hadoop问题
- RHEL 5下配置Hadoop集群:java.net.NoRouteToHostException: No route to host问题的解决
- windows平台下配置hadoop的javahome时空格问题解决
- Spark 在Hadoop HA下配置HistoryServer问题
- Hadoop 1.x MapReduce 默认驱动配置