离线安装CDH5.4.5 on CentOS6.5

综合了好多篇文章，结合自己的实践，写的这篇博客。

直接使用centos6.7吧 要不一升级也升成6.7了 省得下载那么多文件

192.168.1.110 master
192.168.1.111 slave1
192.168.1.112 slave2

1. install CentOS 6.5 on VMware Workstation 12

2. 以root权限登录

2.1

# nano /etc/sysconfig/network

改成:

NETWORKING=yes
HOSTNAME=master
GATEWAY=192.168.1.2

2.2

#nano /etc/selinux/config

改成:

SELINUX=disabled

2.3 关闭防火墙:

#chkconfig iptables off

2.4

#nano /etc/yum/pluginconf.d/fastestmirror.conf

修改:

enabled=0

2.5

#nano  /etc/sysctl.conf

在最后添加:

vm.swappiness=0(by default = 60)

2.6

#nano /etc/resolv.conf

Add the following:

search master
nameserver 192.168.1.2

2.7

#cd /etc/sysconfig/network­scripts/
#nano ifcfg­-eth0

这里首先查看

nano /etc/udev/rules.d/70-persistent-net.rules

是否使用的是eth0网卡

如果是修改如下：

DEVICE=eth0 (根据上面查看的修改，有可能是eth1，看自己的系统)
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.1.110
NETMASK=255.255.255.0
DNS1=192.168.1.2
DNS2=8.8.8.8
GATEWAY=192.168.1.2

2.8 重启网络

#service network restart

2.9 配置ssh无密码访问

———–下面是在master上面的操作———————

输入以下指令生成ssh

# ssh-keygen

//会生成两个文件，放到默认的/root/.ssh/文件夹中

把id_rsa.pub追加到授权的key里面去

#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改文件”authorized_keys”权限

# chmod 600 ~/.ssh/authorized_keys

设置SSH配置

# vim /etc/ssh/sshd_config

以下三项修改成以下配置

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

重启ssh服务

# service sshd restart

把公钥复制所有的Slave机器上

// scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/

# scp ~/.ssh/id_rsa.pub root@192.168.1.111:~/
# scp ~/.ssh/id_rsa.pub root@192.168.1.112:~/

———————–以下在Slave主机上配置——————

# mkdir ~/.ssh

修改权限

# chmod 700 ~/.ssh

追加到授权文件”authorized_keys”

# cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

修改权限

# chmod 600 ~/.ssh/authorized_keys

删除无用.pub文件

# rm –r ~/id_rsa.pub

————————在master主机下进行测试—————

# ssh 192.168.1.111
# ssh 192.168.1.112

3.建立本地yum源

3.1 安装createrepo，创建yum源

#yum -y install createrepo

3.2 安装httpd

#yum -y install httpd
#etc/init.d/httpd start

3.3建立centos光盘镜像本地源

下载centos iso文件



/mnt/dvd1 和 /mnt/dvd2 用于挂载 CentOS 镜像

/usr/data ISO文件存储位置

#mkdir -p /mnt/dvd1 /mnt/dvd2 /usr/data

挂载 CentOS 镜像

将ISO文件上传到服务器, 本文以 /usr/data 目录为例(使用Xmanager), 然后挂载

#mount -o loop /usr/data/CentOS-6.5-x86_64-bin-DVD1.iso /mnt/dvd1
#mount -o loop /usr/data/CentOS-6.5-x86_64-bin-DVD2.iso /mnt/dvd2

拷贝文件

首先, 拷贝第一张DVD中的所有文件到 /var/www/html/yumload 目录下,然后, 只拷贝第二张DVD中Packages目录下的所有RPM文件到 /var/www/html/yumload/Packages 目录下

#cp -av /mnt/dvd1/* /var/www/html/yumload
#cp -v /mnt/dvd2/Packages/*.rpm /var/www/html/yumload/Packages/

合并TRANS.TBL

将DVD2中TRANS.TBL的信息追加到DVD1中TRANS.TBL后面, 并排序保存

#cat /mnt/dvd2/TRANS.TBL >> /var/www/html/yumload/TRANS.TBL
#mv /var/www/html/yumload/{TRANS.TBL,TRANS.TBL.BAK}
#sort /var/www/html/yumload/TRANS.TBL.BAK > /var/www/html/yumload/TRANS.TBL

3.3YUM配置（所有节点都需要配置）

备份YUM配置文件

#cd /etc/yum.repos.d
#rename .repo .repo.backup *.repo

3.3.1生成新的YUM配置文件

#cat > /etc/yum.repos.d/CentOS-Media.repo <<EOF
[centos6]
name=centos6
baseurl=http://192.168.1.110/yumload/
enabled=1
gpgcheck=0
[rpms]
name=rpms
baseurl=http://192.168.1.110/rpms/
enabled=1
gpgcheck=0
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=http://192.168.1.110/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://192.168.1.110/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
//这里添加后面会用到
>EOF

3.3.2更新YUM源

#yum clean all
#yum upgrade

4.配置NTP服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。这里，所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件：

#yum install ntp
#chkconfig ntpd on

4.1主节点配置

#nano /etc/ntp.conf

修改成如下：（其他的可以注释掉或删掉）

driftfile /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict 192.168.1.0 mask 255.255.255.0 notrap nomodify //给于局域网机的机器有同步时间的权限

server 127.127.1.0

fudge 127.127.1.0 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

4.2所有datanode节点

driftfile /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

这里是主节点的主机名或者ip

server 192.168.1.110

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

4.3启动 ntp,并测试

这里要等一会测试，要不然测试不成功，同步需要时间

#service ntpd start
#netstat -upnl |grep ntpd   //查看时程
#ntpq -pn    //查看同步的服务器IP
#ntpstat   //同步的结果

5.建立本地cm和cdh源

注：安装CM前需要安装mysql或者postgresql数据库，自行搜索教程，因为我这一步是在线安装的，PS.只有主机才能上网，不知道怎么把无线网用有线共享出去，而且单位上网还有个客户端，插上网线就不能上网，头疼

5.1下载cm和cdh

CM下载地址

http://archive-primary.cloudera.com/cm5/repo-as-tarball/

http://archive.cloudera.com/cm5/repo-as-tarball/

CDH下载地址（下载三个文件）

http://archive-primary.cloudera.com/cdh5/parcels/

http://archive.cloudera.com/cdh5/parcels/5.4.5/

CDH-5.4.5-1.cdh5.4.5.p0.7-el6.parcel

CDH-5.4.5-1.cdh5.4.5.p0.7-el6.parcel.sha1

manifest.json

将下载下来的cm5.4.6-centos6.tar.gz文件使用FTP上传到主机上并解压,我是把这个文件放在了/usr/data目录下

#cd /usr/data
#tar -zxf cm5.4.6-centos6.tar.gz
#cd /var/www/html（这个是httpd的目录）
#mkdir -p cm5/redhat/6/x86_64/
#mv /usr/data/cm . (这里有个点不要忘了)
#mkdir -p cdh5/parcels/5.4.5/(将下载的CDH三个文件放在此目录下)
//在/var/www/html目录下新建rpms文件夹，可以存放一些比较新的rpm文件
#mkdir -p /var/www/html/rpms
#cd /var/www/html/rpms
#createrepo ./

OK，到这里本地yum源基本安装好了

下载CM安装文件

http://archive-primary.cloudera.com/cm5/installer/latest/

cloudera-manager-installer.bin

进入其存放目录执行

#chmod +x cloudera-manager-installer.bin
#./cloudera-manager-installer.bin

之后点击下一步，同意就可以了

So，基本就是这样，剩下的就看个人的去怎么配置了