Hadoop HDFS Namenode启动不成功
2014-09-11 11:25
363 查看
今天在Pseudodistributed mode下启动HDFS
见配置http://blog.csdn.net/norriszhang/article/details/38659321
但是在试验向HDFS里拷贝文件时,发现出错,说没有找到namenode,用jps查看,有datanode和secondary namenode都启动起来了,但NameNode没有启动起来,用netstat -anp | grep 8020查看HDFS的默认端口8020也没有被监听。
经网上查询,得知原因:引 http://blog.csdn.net/bychjzh/article/details/7830508
原来是因为HDFS把namenode的格式化信息存在了系统的tmp目录下,该目录每次开机会被清空,因此每次重新启动机器,都需要重新格式化HDFS。
解决方案是配置一个新的tmp目录给hadoop
在$HADOOP_INSTALL/etc/hadoop/core-site.xml中添加一个property
这样就把hadoop的tmp目录设置到/home/norris/hadoop_tmp下面了,就不用担心下次启动会被清空了。
配置好后,先格式化namenode
%hadoop namenode -format
再启动HDFS
%start-dfs.sh
再向HDFS里放文件。
%hadoop fs -copyFromLocal /home/norris/data/hadoop/weatherdata.txt /usr/norris/weatherdata.txt
再关机,重启,再启动HDFS
%start-dfs.sh
再查看jps
有namenode被启动起来了。
查看文件:
%hadoop fs -ls /usr/norris/
见配置http://blog.csdn.net/norriszhang/article/details/38659321
但是在试验向HDFS里拷贝文件时,发现出错,说没有找到namenode,用jps查看,有datanode和secondary namenode都启动起来了,但NameNode没有启动起来,用netstat -anp | grep 8020查看HDFS的默认端口8020也没有被监听。
经网上查询,得知原因:引 http://blog.csdn.net/bychjzh/article/details/7830508
原来是因为HDFS把namenode的格式化信息存在了系统的tmp目录下,该目录每次开机会被清空,因此每次重新启动机器,都需要重新格式化HDFS。
解决方案是配置一个新的tmp目录给hadoop
在$HADOOP_INSTALL/etc/hadoop/core-site.xml中添加一个property
<property> <name>hadoop.tmp.dir</name> <value>/home/norris/hadoop_tmp</value> <description>A base for other temporary directories.</description> </property>
这样就把hadoop的tmp目录设置到/home/norris/hadoop_tmp下面了,就不用担心下次启动会被清空了。
配置好后,先格式化namenode
%hadoop namenode -format
再启动HDFS
%start-dfs.sh
再向HDFS里放文件。
%hadoop fs -copyFromLocal /home/norris/data/hadoop/weatherdata.txt /usr/norris/weatherdata.txt
再关机,重启,再启动HDFS
%start-dfs.sh
再查看jps
有namenode被启动起来了。
查看文件:
%hadoop fs -ls /usr/norris/
相关文章推荐
- hadoop启动后jps查看总是不显示namenode进程,然后重新格式化hdfs
- hadoop 2.x之HDFS HA讲解之八HDFS HA测试启动NameNode遇见错误分析解决
- 解决Hadoop namenode无法启动以及修改hdfs的存放位置
- hadoop Yarn 搭建集群时错误 主节点 NameNode 没有启动成功
- Hadoop HDFS HA启动出现两个StandBy NameNode
- hadoop集群启动namenode成功,而datanode未启动!
- hadoop 的HDFS 的 standby namenode无法启动事故处理
- Hadoop Namenode不能启动(dfs/name is in an inconsistent state)
- Hadoop的Namenode无法启动
- Hadoop namenode 不能启动解决方案
- hadoop-namenode启动过程及坏块处理流程
- HDFS集群的启动(6)——NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor
- HDFS集群的启动(7)——NameNode任务线程之FSNamesystem$ReplicationMonitor
- 在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境05_HDFS文件系统和Mapreduce框架的启动和运行
- hadoop hdfs总结 NameNode部分 2
- hadoop hdfs总结 NameNode部分 3 ----DatanodeDescriptor
- hadoop出现Incompatible namespaceIDs 的错误,导致namenode进程启动不了
- 关于hadoop namenode -format不成功的问题
- Hadoop namenode无法启动
- hadoop 中配置的问题namenode无法启动