hadoop1.0.4运行程序出现“Java heap Space”错误
2013-09-18 22:43
489 查看
根据虾皮博客中教程,成功搭建了一个12台电脑的Hadoop云平台,而且成功运行了软件自带的wordcount程序,处理10M数据。
但是当程序处理40M时候,却出错了。出错提示“Java Heap Space”,即集群中各个节点的堆内存不足,因此我们需要手动增加堆内存。具体方式是在Hadoop下各个节点的mapred-site.xml文件中,添加部分内容:
View Code
之后重启hadoop即可。
以上直接在Hadoop平台下运行,如果实在windows xp下用eclipse运行程序,则除了修改mapred-site.xml外,还需要做以下两部:
(1)在eclipse的安装文件的eclipse.ini中设置-vmargs -Xms500m -Xmx1024m
(2)选中被运行的类,点击菜单‘run->run...’,选择(x)=Argument标签页下的vm arguments框里输入 -Xmx800m, 保存运行。
如果第一个改完,能够运行,则不用改第二个。
但是当程序处理40M时候,却出错了。出错提示“Java Heap Space”,即集群中各个节点的堆内存不足,因此我们需要手动增加堆内存。具体方式是在Hadoop下各个节点的mapred-site.xml文件中,添加部分内容:
<property> <name>mapred.child.java.opts</name> <value>-Xmx640m</value> </property>
View Code
之后重启hadoop即可。
以上直接在Hadoop平台下运行,如果实在windows xp下用eclipse运行程序,则除了修改mapred-site.xml外,还需要做以下两部:
(1)在eclipse的安装文件的eclipse.ini中设置-vmargs -Xms500m -Xmx1024m
(2)选中被运行的类,点击菜单‘run->run...’,选择(x)=Argument标签页下的vm arguments框里输入 -Xmx800m, 保存运行。
如果第一个改完,能够运行,则不用改第二个。
相关文章推荐
- hadoop运行程序出现Error: Java heap space
- hadoop运行程序是出现java heap space
- hadoop Job 运行错误 java.lang.OutOfMemoryError: Java heap space
- 运行的程序时,出现内存不足时的解决方式Exception in thread "main" java.lang.OutOfMemoryError: Java heap space(转)
- Android中运行程序后出现的错误java.util.zip.ZipException:duplicate entry
- 解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
- Java使用java命令运行程序出现:找不到主类错误
- Tomcat 以 windows 服务的形式运行,出现 “Java heap space” 或 “GC overhead limit exceeded” 问题的解决方法
- android2.x的桌面项目程序在android4.0上运行后出现 java.lang.NoClassDefFoundError错误 解决方法
- hadoop在执行时出现 Caused by: java.lang.OutOfMemoryError: Java heap space
- eclipse 中 4000 运行 Hadoop2.7.3 map reduce程序 出现错误(null) entry in command string: null chmod 0700
- Eclipse运行程序提示:Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
- 用记事本编写第一个Java程序运行时 出现报错:错误: 类helloworld是公共的, 应在名为 helloworld.java 的文件中声明 public class helloworld {
- C程序访问hadoop出现的各种编译错误和运行时各种类DefFound异常的解决方法(makefile的书写和环境变量的配置)
- 在wind7中运行启动hadoop出现错误 java.lang.UnsatisfiedLinkError
- hadoop的mapreduce作业中出现Java heap space,你认为该如何解决?
- Win7+Eclipse+Hadoop 运行WordCount报错:java.lang.OutOfMemoryError: Java heap space
- Hadoop 运行作业java堆溢出:java.lang.outofmemoryerror: java heap space hadoop
- [hadoop异常] eclipse中运行mapreduce 异常 --java.lang.OutOfMemoryError: Java heap space
- hadoop错误-Java heap space at org.apache.hadoop.io.BoundedByteArrayOutputStream