在虚拟机中搭建CDH版本的大数据平台

研究生期间有幸接触到当前流行大数据，好在学校在硬件上还比较给力，我有一台光硬盘就48T的服务器。于是在服务器上搭建了CDH版本的大数据平台。闲话少说，此教程针对大数据平台搭建的研究，并有一定的Linux命令基础，或者搭建过apache版本的hadoop。

所需文件放在我的百度网盘大数据相关文件中，密码是g7as

cloudera-manager-el6-cm5.3.3_x86_64.tar.gz

CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel

CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha

manifest.json

jdk-8u77-linux-x64.rpm

mysql-connector-java-5.1.13-bin.jar

下面就开始分享我的搭建过程

1.下载CentOS-6.5-x86_64-bin-DVD1.iso，安装到虚拟机中，作为主机n1

2.将下载好的jdk-8u77-linux-x64.rpm放入安装好centos操作系统的n1节点中，使用rpm -ivh jdk-8u77-linux-x64.rpm 实现自动安装jdk                      接下来修改配置文件 使用命令vi
/etc/profile打开配置文件，添加如下配置

exportJAVA_HOME=/usr/java/jdk1.8.0_77

exportJRE_HOME=$JAVA_HOME/jre

exportPATH=$JAVA_HOME/bin:$PATH                                                                                                                                                                     最后保存配置文件，注意
source /etc/profile 算是一个激活吧，不然重开机后可能没有成功修改配置文件

3.修改配置文件

查看命令 cat /proc/sys/vm/swappiness    一般情况下都是60

vi /etc/sysctl.conf  添加 vm.swappiness=0 保存退出  重启后再查看 就回是0

操作这个是为了最后一步安装检查集群节点时出现警告

具体原理请看http://blog.csdn.net/wulantian/article/details/36184943

4.关闭防火墙

临时关闭：service iptables stop

永久关闭：chkconfig iptables off

查看关闭状况：service iptables status

5.关闭SELIN
4000
UX

将SELINUX=enforcing 改为SELINUX=disabled（重启后生效）

查看SELINUX状态 /usr/sbin/sestatus -v

若SELinux status 为disabled 即为关闭

6.以n1节点为母节点克隆出两个子节点n2,n3

7.对所有节点操作

修改相应主机名，和配置集群ip地址

修改主机名 命令 vi /etc/sysconfig/network

修改主机ip地址 命令 vi /etc/hosts

8.打通ssh

所有节点 使用命令ssh-keygen -t rsa

n1主节点 cat idrsa.pub >> authorized_keys

scp authorized_keys root@n2:~/.ssh

n2从节点 cat idrsa.pub >> authorized_keys

scp authorized_keys root@n3:~/.ssh

n3从节点 cat idrsa.pub >> authorized_keys

chmod 600 authorized_keys

scp authorized_keys root@n2:~/.ssh

scp authorized_keys root@n1:~/.ssh

操作完成后，就能实现各个节点免密钥登录了

9.ntp同步

n1主节点

yum install ntp

chkconfig ntpd on //开机自启动

chkconfig --list ntpd

先手动同步

ntpdate -u 202.112.10.36

修改配置 /etc/ntp.conf

1.去掉#restrict ip mask 255.255.255.0 nomodify notrap 前面的#

允许内网其他机器同步时间

restrict ip mask 255.255.255.0 nomodify notrap

2.所有 server 前加上# 并添加下面的新的server

server 210.72.145.44 perfer

server 202.112.10.36

server 59.124.196.83

保存

启动   service ntpd start

查看是否同步ntpstat

n2,n3从节点

yum install ntp

chkconfig ntpd on

vi /etc/ntp.conf

所有 server 前加上# 并添加下面的新的server

server 主节点n1

保存

ntpdate -u 主节点n1

启动

service ntpd starty

查看是否同步ntpstat

不太明白的，可以参考http://acooly.iteye.com/blog/1993484

10.主节点n1安装mysql，并创建数据库，和对root用户授权

yum install mysql-server

设置开机启动

chkconfig mysqld on

启动mysql

service mysqld start

设置root用户和初始密码

mysqladmin -u root password 'root'

进入mysql

mysql -uroot -proot

创建数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

授权root用户在主节点上拥有所有数据库访问权限

grant all privileges on *.* to 'root'@'主节点n1' identified by 'root' with grant option;

flush privileges;

11.n1主节点安装ClouderaManager server

n1主节点

将cloudera-manager-el6-cm5.3.3_x86_64.tar.gz放入/opt目录下

tar -zxvf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz

复制mysql-connector-java-5.1.13-bin.jar到 /opt/cm-5.3.3/share/cmf/lib/目录下

初始化Cloudera Manager5的数据库

/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -h localhost -uroot -proot --scm-host localhost scm scm scm

修改Agent配置文件

vi /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini

server_host=主节点n1

复制文件到Agent节点

scp -r /opt/cm-5.3.3 root@n2:/opt/

scp -r /opt/cm-5.3.3 root@n3:/opt/

所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home          --shell=/bin/false --comment"Cloudera SCM User" cloudera-scm

12.安装CDH

将前面下载CHD5.3.3 三个安装文件复制到到主节点的/opt/cloudera/parcel-repo/目录下

修改parcel-repo文件夹权限，给用户cloudera-scm权限：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

13.至此基本完成环境的安装，所有节点快照一下，避免出错后，能够返回

14.启动server和agent

n1主节点 /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start 启动服务端。

n1、n2、n3所有节点 /opt/cm-5.3.3/etc/init.d/cloudera-scm-agentstart 启动Agent服务。

启动后可通过浏览器访问 http://cdh1;hadoop.com:7180，用户名和密码默认为均为admin
接下来就可以在网页上进行安装了

注意启动所有服务之前对hive的配置添加Mysql驱动

cp /opt/cm-5.3.3/share/cmf/lib/mysql-connector-java-5.1.13-bin.jar      /opt/cloudera/parcels/CDH-5.3.3- 1.cdh5.3.3.p0.5/lib/hive/lib/

否则会在安装服务时，由于找不到mysql驱动，安不上hive，中断服务安