Ubuntu虚拟机搭建HDFS时常遇到的问题及相关解决办法

Ubuntu虚拟机搭建HDFS时常遇到的问题及相关解决办法

我通关学习搭建hadoop节点集群时，遇到的各种问题有一个简短的总结。相信这会是很多跟我一样，刚刚接触或者学习hadoop的朋友们会在学习的过程中经常碰到的问题。希望一下的总结能够对大家的学习有所帮助。
以下所有的问题都会导致你的分布式系统报错或者进程缺失。
第一：在/hadoop-1.2.1/conf/文件下，进行分布式文件配置时，core-site.xml、hdfs-site.xml、mapred-site.xml格式一定要一一核对，确保正确。哪怕就是头文件的书写也一样。
解决办法：配置好master机器上的文件后，要检查一遍，一定要把不相关的空格删除，否则集群启动时会直接报错。你找都找不哪里出了问题。最好是头文件不要删除、把需要添加的内容复制进去就行了，这样可以减少犯错误。
第二：master机器和slave集群的进程不对
解决办法：确保每一台slave机器上的core-site.xml、hdfs-site.xml、mapred-site.xml都与master保持一致。最好是在master上配置结束后，确保正确的前提下：scp hadoop-1.2.1 hadoop@slave:/home/hadoop/，执行这条命令，把master上的hadoop文件全部拷贝到slave机器上去。
第三：master和slave上的IP设置绑定问题
解决办法：$:/etc/hosts的配置，确保每台机器上的masterIP和slaveIP一致。
第四：master、slave之间密钥登录问题
解决办法：master无密码登录slave机器时，前提是将自己的SSH配置时声称的master机器密钥id_rsa.pub分别复制到各台slave机上（建议：slave机最好新建一个authorized_keys），这样才可以无密码登录。同理，slave机登录master时，也要把各自的SSH配置时自动产生的id_rsa.pub拷贝到master机的authorized_keys中去。这样才可以实现他们之间的无密码登录。
第五：/etc/profile配置JAVA_HOME路径时的问题
注意：在配置JDK和HADOOP的JAVA_HOME路径时，一定要严格按照各自的配置路径进行，比如JDK在前，HADOOP在后，（JDK的文件路径、classpath的路径、path的路径，hadoop.jar的路径、path的路径）。千万不要觉得只要内容都一样，位置、顺序随意就可以。机器是逐条读取的，如果顺序不对，也会报错。这个如果不会，网上很多，可以参考的编写配置。