解决hadoop集群中datanode启动后自动关闭的问题

相信大部分的Hadoop的初学者都会都会遇到这样的问题: 在配置好Hadoop集群后，当执行sbin/start-dfs.sh时会发现datanode进程启动后立即关闭。我当时遇到这样的问题时一脸懵逼，以为是自己配置Hadoop的参数出现错误。结果反复的重新配置，重新格式化，然而并没有什么用处。废话不多说了，现在开始介绍问题的产生以及解决方案吧。

问题：Namenode上namespaceID与datanode上namespaceID不一致。

　　问题产生原因：每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与datanode节点上的namespaceID不一致。启动失败。

解决方法：

　　(1)停掉集群服务

　　(2)在出问题的datanode节点上删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录，本机器上那个是/hadoop/hadoop-2.7.1/hdfs/dfs/data/ (注：在所有的datanode和namenode节点上均执行了该步骤。以防删掉后不成功，可以先把data目录复制一份)。

　　(3)格式化namenode.

　　(4)重新启动集群。

　　问题解决。

谨记：这种方法带来的一个副作用就是会造成hdfs上的所有数据丢失。