Hadoop 无法启动的问题
2013-12-09 21:37
127 查看
最近乱搞把本来就快要挂了的hdfs又给弄坏了。问题如下, 应该是节点没有启动。
[hadoop@namenode hadoop]$ hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: ?%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
————————————————-
Datanodes available: 0 (0 total, 0 dead)
在查看日志的时候发现的问题:
2013-12-09 20:01:11,063 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
2013-12-09 20:01:11,063 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
原来是文件hdfs-site.xml中的dfs.data.dir对应的目录的权限问题。用户组不应该拥有”写权限“, 去掉即可(chmod g-w "directory");
然后重启hadoop .
stop-all.sh
start-all.sh
问题解决了
另外如果遇到存在dead节点,可能是文件excludes中存在该节点的IP,删去即可。
但是问题还没有彻底解决,就是集群中每个节点的磁盘大小是160G, 但是hdfs中只显示50G.。。不知道问题何在,如有哪位遇到此情况, 还请告知小弟。
[hadoop@namenode hadoop]$ hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: ?%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
————————————————-
Datanodes available: 0 (0 total, 0 dead)
在查看日志的时候发现的问题:
2013-12-09 20:01:11,063 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
2013-12-09 20:01:11,063 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
原来是文件hdfs-site.xml中的dfs.data.dir对应的目录的权限问题。用户组不应该拥有”写权限“, 去掉即可(chmod g-w "directory");
然后重启hadoop .
stop-all.sh
start-all.sh
问题解决了
另外如果遇到存在dead节点,可能是文件excludes中存在该节点的IP,删去即可。
但是问题还没有彻底解决,就是集群中每个节点的磁盘大小是160G, 但是hdfs中只显示50G.。。不知道问题何在,如有哪位遇到此情况, 还请告知小弟。
相关文章推荐
- hadoop之端口被占用问题namenode无法启动
- 使用hadoop过程中两次datanode无法启动问题
- Hadoop 关于namenode 无法启动问题
- hadoop 节点链接不通、datanode无法启动问题解决
- hadoop 2.6遇到的DataNode无法启动问题
- hadoop多次格式化namenode造成datanode无法启动问题解决
- hadoop伪分布式每次启动时需要重新format否则namenode无法启动的问题
- hadoop之端口被占用问题namenode无法启动
- hbase无法启动Regionserver:Failed construction of Regionserver: class org.apache.hadoop.hbase.regions问题解决
- Hadoop namenode无法启动问题解决
- Hadoop namenode无法启动问题解决
- hadoop2.7.3 datanode无法启动的问题
- hadoop无法启动DataNode问题
- Hadoop namenode无法启动问题解决
- Hadoop系列--datanode无法启动及Incompatible namespaceIDs问题的解决
- 记学习hadoop时无法启动namenode的问题
- 【问题解决】hadoop datanode无法启动
- hadoop namenode无法启动问题
- hadoop集群搭建namenode无法启动问题
- hbase无法启动Regionserver:ClassNotFoundException: org.apache.hadoop.util.PlatformName问题解决