您的位置:首页 > 运维架构

搭建hadoop伪分布式中的问题

2018-02-28 13:41 99 查看
之前搭建了的spark集群环境,现在想借其中一台slave机搭建一个hadoop的伪分布式,基本没什么需要做的,主要是建立与localhost的ssh免密连接以及稍微改了一下core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml文件的配置,这个很多博客都有,不再赘述。现在说一下其中容易出现的问题。

1.datanode无法启动

2.nodemanager无法启动

3.nodemanager启动了但是没有跟 nodemanager 链接上
4.wordcount停到map0% reduce0%就不动了。

解决方法:

1.如果在上述配置文件中写了datenode和namenode的路径,将其注释掉;然后在执行hadoop -format之前将把/tmp下的Hadoop开关的临时文件删除,基本就没有问题了,启动以后jps就可以看到datanode了。
参考解释原因:http://blog.csdn.net/love666666shen/article/details/74350358
2.我在伪分布式上运行wordcount的时候发现卡在 INFO mapreduce.Job: Running job: 就不走了,然后上yarn web平台看发现没有资源了(注意是8080端口),原来问题是nodemanager没起来,于是在yarn-site.xml中加了一段:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
参考解释原因:不知道,总之应该把nodemanager的启动内存整小一点。

3.还是wordcount这里,出现了一个问题是:InvalidResourceRequestException:Invalid resource request,request memory<0 or >1024...就是上一个文件,我之前写的是1024,现在改成了2048,看来也不能改的太小了。

4.这也是邪门,我看了yarn web平台,一切好像没什么问题,就是process停止在5%,好像还是内存原因,解决了更新。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop 伪分布式
相关文章推荐