【Hadoop】6、Hadoop安装之报错处理

错误报错

1、时间不能同步

2014.12.18

做同步时间的时候，执行命令操作：

[root@zhanglin ~]# /usr/sbin/ntpdate pool.ntp.org

会报错：

Name server cannot be used, exiting18 Dec 19:39:39 ntpdate[3592]: name server cannot be used, reason: Temporary failure in name resolution

1、首先确认ntpd 服务是开启的。

[root@retail-153 ~]# /etc/init.d/ntpd start

正在启动 ntpd： [确定]

2、检查你的DNS是否添加，如果没有添加，就把你所使用的添加上去。

编辑文件：

[root@zhanglin ~]# vi /etc/resolv.conf

Generated by NetworkManager

nameserver 202.99.144.12

nameserver 202.99.143.11

或者添加通用DNS： nameserver 8.8.8.8

测试：

[root@zhanglin ~]# ntpdate pool.ntp.org

18 Dec 13:40:32 ntpdate[23722]: the NTP socket is in use, exiting

[root@retail-153 ~]# date -R

Thu, 18 Dec 2014 13:40:36 +0800

http://blog.itpub.net/27099995/viewspace-1372167/

2、当cloudera-manager-installer.bin安装不完全

也就是没联网的时候安装的时候错误的时候，我们后面直接吧相应的usr/share/cmf文件夹全部删除就好饿了

3、一个问题就是yum源无法安装cloud-manager

yum源更新后需要导入 key值，否则报错如下，无法安装相关的包。

Total size: 42 M

Downloading Packages:

warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY

Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

GPG key retrieval failed: [Errno 14] Could not open/read file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

解决办法：

1. 先安装如下工具包：

rpm -Uhv http://dag.wieers.com/packages/rpmforge-release/rpmforge-release-0.3.4-1.el4.rf.i386.rpm

[root@localhost yum.repos.d]# rpm –import /etc/pki/rpm-gpg/RPM-GPG-KEY-6

一般来说安装完成后即可，安装完这个就可以了。

如果还是不行，查看系统的

编辑yum源文件：替换 RPM-GPG-KEY-CentOS-5 替换为对应的 key 文件名：RPM-GPG-KEY-CentOS-6 （要全部替换）

root@localhost yum.repos.d]# vi CentOS-Base-sohu.repo

[base]

name=CentOS-$releasever - Base - sohu.com

mirrorlist=http://mirrorlist.centos.org/?release=releasever&arch=releasever&arch=basearch&repo=os

baseurl=http://mirrors.sohu.com/centos/releasever/os/releasever/os/basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

4、error: rpmts_HdrFromFdno: headerRead failed: hdr blob(982592): BAD, read returned 32296

这里爆了一堆错的主要原因是rpm包坏了，我从新下载就都好了

5、cdh安装失败，无法进行身份认证

可能我们前面配置的是对ROOT用户进行免秘钥，我们要对所有的用户进行免秘钥！！！！

6、安装报错无法打开”/var/log/cloudera-scm-agent//cloudera-scm-agent.log” 读取数据: 没有那个文件或目录

这个错误是因为在/etc/hosts 里IP/hostname 的对应不正确，修好之后再点选Retry 。这个错误是因为在/etc/hosts里IP/hostname的对应不正确，修好之后再点选Retry 。 Cloudera Manager 会先把之前的所有操作rollback，回复到初始状态之后才重装。 Cloudera Manager 会先把之前的所有操作rollback，回复到初始状态之后才重装。

7、安装失败。 无法接收 Agent 发出的检测信号。

请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问（检查防火墙规则）。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志（某些日志可在安装详细信息中找到）。

could not find config file /var/run/cloudera-scm-agent/supervisor/supervisord.conf

这个错误的解决是：

修改了我们/etc/hosts文件之后，我们得重启一下服务cloudera-scm-agent

service cloudera-scm-agent restart

8、安装CM之后无法显示



9、7180界面打不开

用impala做实验遇到了cloudera-scm-server dead but pid file exists问题。

问题发生的经过是这样的：

首先我在单机配置的为2核4GB内存的5台虚拟机上安装了cloudera manager，然后用它安装了cdh和impala

然后一切都是正常的，我就往集群的hdfs里面导入了100GB的数据

然后一切仍然是正常的，可是突然有一天，cloudera manager的web界面无法访问了(7180端口的那个)，hadoop还可以用，impala挂掉了

之前用大内存的虚拟机装上百节点的impala都是没问题的呀，估计是内存不足导致的（想起来之前装过一次单机2GB内存的集群，装完不久 cloudera manager就也打不开了，当时由于用不到这个集群也就每台多想），查看了一下主节点上（也就是运行cloudera manager、即cloudera-scm-server的那个节点），果然啥也没干内存就只剩下400MB了。

看来安装impala，单机内存配置至少应该是8GB。

不过还是尝试解决了这个问题：

首先交代下实验环境：

硬件配置上面已经说了，操作系统是CentOS6.4 64位，软件cdh4.5.0.30+impala1.2.1.850

操作步骤如下：