Hadoop集群搭建过程中遇到的那些事

  数周前，开始搭建和测试hadoop集群环境。虽然有相关文档，还是遇到了许多问题，也学到了很多。趁现在整理一二，仅供同道中人参考。

  1.Input path does not exists ... 

  解决：如果路径确实没错，那可能是配置问题。可以将三份配置文件拷贝到工程的src文件夹下面：core-site.xml,hdfs-site.xml,log4j.properties.

 2.如何验证是否安装了ssh服务

  解决：方法一、在集群机器的终端上执行命令：netstat -a | more 

                             若出现 tcp 0 0 *.ssh*:*LISTEN 信息，则说明已安装。

             方法二、rpm -qa | grep openssh

                            若安装ssh服务成功，会显示openssh的服务器和客户端版本信息

 3.安装mysql有时会遇到包冲突问题。此时应先删除冲突的包。步骤如下：

   1)执行命令：rpm -qa | grep -i mysql        查看冲突包

  2)执行命令：rpm  -e  --nodeps  冲突包名

 4.如何判断hadoop集群安装成功

     终端命令：hadoop dfsadmin report            若live datanode数目是0的话，就没有启动成功

 5.hive  如何启动调试模式？

    终端命令：sudo hive -hiveconf  hive.root..logger=DEBUG,console