Hadoop集群搭建过程问题总结

1.datanode节点无法启动

（1）无法与slave是通信

检查slaves文件slave节点名称是否正确

检查防火墙是否关闭（使用setup命令关闭防火墙，iptables -F 命令有时会失效，chkconfig IPtables on 命令需重启生效）

检查/etc/hosts 是否配置正确

（2）clusterID不匹配

DataNode与namenode中的clusterID不匹配：~/hadoopdata/dfs/namesecondary/current/VERSION中clusterID修改为namenode中的clusterID。

当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径）的current/VERSION文件只是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。

2.hbase-1.0.2启动成功，但无法访问master：60010

在hbase-site.xml中添加

<property>
<name>hbase.master.info.port</name>
<value>60010</value>

</property>

3.退出安全模式-safemode

hdfs dfsadmin --safenode leave

4.hadoop集群启动不成功-格式化多次

关闭集群，删除hadoopdata目录，删除Hadoop安装目录下的logs文件夹中的所有日志文件。重新格式化，再次启动集群。

5.出现jps,hadoop.hdfs等命令无法识别

~/.bash_profile文件环境变量配置错误，请仔细检查。若开始时命令可以识别，重启或一段时间后无法识别，重新source ~/.bash_profile.

6.Hive安装报错：Terminal initialization failed; falling back to unsupported

Hadoop目录下存在老版本的jline，将hive文件中的jline-2.12.jar替换老版jline。重新启动Hadoop集群，再次启动hive，问题解决.

7.若IP为自动获取，集群无法启动，可能是ip改变。