搭建hadoop伪分布式中的问题
2018-02-28 13:41
99 查看
之前搭建了的spark集群环境,现在想借其中一台slave机搭建一个hadoop的伪分布式,基本没什么需要做的,主要是建立与localhost的ssh免密连接以及稍微改了一下core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml文件的配置,这个很多博客都有,不再赘述。现在说一下其中容易出现的问题。
1.datanode无法启动
2.nodemanager无法启动
3.nodemanager启动了但是没有跟 nodemanager 链接上
4.wordcount停到map0% reduce0%就不动了。
解决方法:
1.如果在上述配置文件中写了datenode和namenode的路径,将其注释掉;然后在执行hadoop -format之前将把/tmp下的Hadoop开关的临时文件删除,基本就没有问题了,启动以后jps就可以看到datanode了。
参考解释原因:http://blog.csdn.net/love666666shen/article/details/74350358
2.我在伪分布式上运行wordcount的时候发现卡在 INFO mapreduce.Job: Running job: 就不走了,然后上yarn web平台看发现没有资源了(注意是8080端口),原来问题是nodemanager没起来,于是在yarn-site.xml中加了一段:
3.还是wordcount这里,出现了一个问题是:InvalidResourceRequestException:Invalid resource request,request memory<0 or >1024...就是上一个文件,我之前写的是1024,现在改成了2048,看来也不能改的太小了。
4.这也是邪门,我看了yarn web平台,一切好像没什么问题,就是process停止在5%,好像还是内存原因,解决了更新。
1.datanode无法启动
2.nodemanager无法启动
3.nodemanager启动了但是没有跟 nodemanager 链接上
4.wordcount停到map0% reduce0%就不动了。
解决方法:
1.如果在上述配置文件中写了datenode和namenode的路径,将其注释掉;然后在执行hadoop -format之前将把/tmp下的Hadoop开关的临时文件删除,基本就没有问题了,启动以后jps就可以看到datanode了。
参考解释原因:http://blog.csdn.net/love666666shen/article/details/74350358
2.我在伪分布式上运行wordcount的时候发现卡在 INFO mapreduce.Job: Running job: 就不走了,然后上yarn web平台看发现没有资源了(注意是8080端口),原来问题是nodemanager没起来,于是在yarn-site.xml中加了一段:
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property>参考解释原因:不知道,总之应该把nodemanager的启动内存整小一点。
3.还是wordcount这里,出现了一个问题是:InvalidResourceRequestException:Invalid resource request,request memory<0 or >1024...就是上一个文件,我之前写的是1024,现在改成了2048,看来也不能改的太小了。
4.这也是邪门,我看了yarn web平台,一切好像没什么问题,就是process停止在5%,好像还是内存原因,解决了更新。
相关文章推荐
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题
- 解决典型Hadoop分布式集群环境搭建问题
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题
- Spark +hadoop 完全分布式搭建 以及常见问题
- 分布式hadoop-1.0.3搭建以及各种变态问题解决
- Hadoop小兵笔记【四】hadoop2.2.0伪分布式环境搭建问题-ssh登录失败
- ubuntu上搭建eclipse下hadoop-2.7.1集群(全分布式)开发环境遇到的几个问题笔记
- hadoop-2.4.1伪分布式搭建出现的namenode无法启动的问题
- CentOS搭建Hadoop分布式集群详细步骤和常见问题解决
- Hadoop完全分布式搭建过程中遇到的问题小结
- Hadoop 2.8.2 和 Spark 2.1.0 分布式搭建及遇到的一些小问题
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (3) - 问题汇总
- 搭建hadoop伪分布式遇到的一些问题
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题
- hadoop伪分布式集群搭建遇到的问题
- centos下搭建单机和伪分布式hadoop环境-(4)搭建过程中的问题汇总
- mac本地搭建伪分布式Hadoop和HBase遇到的问题
- hadoop分布式搭建的测试
- hadoop-分布式环境搭建
- Hadoop上路_14-Hadoop2.3.0的分布式集群搭建