hadoop配置、运行错误总结

注意 k* 和 v*的对应。建议还是看我刚才说的两个章节。详细知道其原理。

十、如果碰到datanode报错如下：


根据错误提示来看，是目录被锁住，无法读取。这时候你需要查看一下是否有相关进程还在运行或者slave机器的相关hadoop进程还在运行，结合linux这俩命令来进行查看：


如果有hadoop相关的进程还在运行，就使用kill命令干掉即可。然后再重新使用start-all.sh。

十一、如果碰到jobtracker报错如下：


解决方式，修改datanode节点里/etc/hosts文件。
简单介绍下hosts格式：
每行分为三个部分：第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名
操作的详细步骤如下：
1、首先查看主机名称：


会看到一个HOSTNAME的属性，把后边的值改成IP就OK，然后退出。
2、使用命令：

hostname ***.***.***.**

星号换成相应的IP。

3、修改hosts配置类似内容如下：

127.0.0.1 localhost.localdomain localhost

::1 localhost6.localdomain6 localhost6

10.200.187.77 10.200.187.77 hadoop-datanode

如果配置后出现IP地址就表示修改成功了，如果还是显示主机名就有问题了，继续修改这个hosts文件，



上图提醒下，chenyi是主机名。



当在测试环境里，自己再去部署一个域名服务器（个人觉得很繁琐），所以简单地方式，就直接用IP地址比较方便。如果有了域名服务器的话，那就直接进行映射配置即可。

如果还是出现洗牌出错这个问题，那么就试试别的网友说的修改配置文件里的hdfs-site.xml文件，添加以下内容：

dfs.http.address
*.*.*.*:50070 端口不要改，星号换成IP，因为hadoop信息传输都是通过HTTP，这个端口是不变的。

十一、如果碰到jobtracker报错如下：


这是java抛出的系统返回的错误码，错误码表示的意思详细的请看这里。
我这里是些streaming的php程序时遇到的，遇到的错误码是code 2: No such file or directory。即找不到文件或者目录。发现命令竟然忘记使用'php ****' 很坑，另外网上看到也可能是include、require等命令造成。详细的请根据自身情况和错误码修改。

转自http://blog.pureisle.net/archives/1687.html

个人觉得，有过一定经验的，基本都会遇到类似的问题，所以发给大家分享下！