CDH5安装

CDH安装有很多方式：

tar包安装，从官网上下载tar包，此种方式类似apache版本hadoop，配置和部署相对来说麻烦。

cloudera manager parcels安装，此种方式最方便、最省事，但如果是国内网的话，期间下载包会非常慢，而且每个节点分别下载。建议直接在官网下载rpm包，手动分发到各个节点yum localinstall安装好后，再使用cloudera manager安装管理。当然，如果使用国外网络，例如亚马逊云主机就不用这么麻烦，下载数据超级快。

其他就不多说了，用的少

.

注意：第二种方式，期间可能会遇到很多问题，大部分情况是网络和域名配置不洽淡导致。另外cloudera版本更新很快，内网下载rpm包安装时，还没安装好可能下一个版本就出来了，导致又要重新下载新的rpm...蛋疼

针对上边提到的网络和域名问题，我给出个建议:

官网中提到：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_networknames_configure.html，配置好了可能还是有问题，cloudera manager安装各种包时运行失败。建议host配置格式（以centos为例）：

/etc/hosts---:ip   xxxnode.yyy.com  xxxnode

hosname------:xxxnode

或者：

/etc/hosts---:ip   xxxnode.yyy.com

hostname------:xxxnode.yyy.com

域名不要有大写和下横杠字符。

绝对不会有问题，有问题找我。。。

下边给出之前写的cdh（国内）安装步骤：

官方文档参见http://www.cloudera.com/content/support/en/documentation.html，主要查看官方文档含有cloudera manager、cdh4.× 、cdh5.×、imapla文档。

下载

官方推荐使用CM包 parcel界面形式下载安装方式，国内下载太慢，所以只能手工下载rpm包，手动安装。（建议使用：wget -np -nH -r --span-hosts ）

以CDH5.0.0版本为例（注意如下提供的url可能不准确，cloudera随时可能会有更新，但可通过http://www.cloudera.com/content/support/en/documentation.html找到相关链接）：

a.CDH包下载
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH-Version-and-Packaging-Information/cdhvd_cdh_download.html
选择合适的location下载rpm http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.0.0/RPMS/，noarch和X86_64目录下的都下载。
内部包含了所有hadoop包，依赖包，基于hadoop上的其他产品包，例如hbase hive impala oozie hue sqoop 等等。

b.cloudera manager相关包下载
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html
选择合适的location下载rpm，内部包含jdk、cloudera manager agent daemons server相关包。

c.下载cloudera manger
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_A.html?scroll=cmig_topic_6_5_1_unique_1
下载cloudera-manager-installer.bin

集群规划

选择节点 ：namenode节点，cm节点，datanode节点，mysql安装节点，impala常驻进程节点（statestored和catalogd 服务应当运行在同一节点上）、hbase节点等等。

建议cm节点不与hadoop节点混合在一起。

安装数据库

CDH内置了数据库，但建议安装自己的数据库，以mysql为例安装步骤：

CDH5.0.0http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Installation-Guide/cm5ig_mysql.html?scroll=cmig_topic_5_5

CDH4.×http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_mysql.html

创建DB

Role Database User Password

Activity Monitor amon amon amon_password

Reports Manager rman rman rman_password

Cloudera Navigator Audit Server nav nav nav_password

Hive Metastore metastore hive hive_password

说明：

1.举例创建数据库

create database metastore DEFAULT CHARACTER SET utf8;

GRANT all ON metastore.* TO hive@ip identified by "xxx";其中ip为需要访问该库的ip

2.如上的db可能根据不同cdh版本而不同，有些可能不需要使用。

3.若使用hue，在使用多个用户针对同一个库的一个表进行查询操作会失败或者等待状态，建议使用mysql作为hue的管理库，官方文档中有相关章节。

机器准备（所有机器）

a.修改机器host vim /etc/sysconfig/network  vim /etc/hosts

b.设置 vim /etc/selinux/config selinux=disabled

c.关闭防火墙/etc/init.d/iptables stop      chkconfig iptables off永远关闭

d.无密码登录namenode ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys次步骤可以省略

e.所有节点用户密码一致

f.重启

拷贝rpm至所有节点

安装CM

CM节点：yum localinstall --nogpgcheck *.rpm yum安装1.b下载的所有rpm然后运行cloudera-manager-installer.bin完成安装。

其他节点：yum localinstall --nogpgcheck *.rpm yum安装1.b下载的CM agent daemons jdk等rpm，不需要安装server。

jdk环境变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_45-cloudera

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:/usr/local/mysql_percona5.5.25/bin/

source /etc/profile

安装CDH

非CM的所有节点运行 yum localinstall --nogpgcheck *.rpm yum安装1.a下载的所有rpm。

注意此安装会将所有CDH相关的产品都会安装，若不想安装部分产品将rpm相关包删除即可。

取消所有产品的自动启动

chkconfig --del hadoop-0.20-jobtracker

chkconfig --del hadoop-0.20-tasktracker

chkconfig --del hadoop-0.20-datanode

chkconfig --del  hadoop-0.20-namenode

chkconfig --del  hadoop-0.20-secondarynamenode

chkconfig --del zookeeper-server

chkconfig --del hive-metastore

chkconfig --del webhcat-server

chkconfig --del hbase-thrift

chkconfig --del hbase-rest

chkconfig --del hbase-solr-indexer

chkconfig --del hbase-regionserver

chkconfig --del impala-server

chkconfig --del solr-server

chkconfig --del sqoop2-server

chkconfig --del hive-server2

chkconfig --del hbase-master

chkconfig --del hadoop-0.20-mapreduce-jobtracker       

chkconfig --del hadoop-0.20-mapreduce-tasktracker      

chkconfig --del hadoop-hdfs-datanode   

chkconfig --del hadoop-hdfs-journalnode

chkconfig --del hadoop-hdfs-namenode   

chkconfig --del hadoop-hdfs-secondarynamenode  

chkconfig --del hadoop-hdfs-zkfc       

chkconfig --del hadoop-httpfs  

chkconfig --del hadoop-mapreduce-historyserver 

chkconfig --del hadoop-yarn-nodemanager

chkconfig --del hadoop-yarn-proxyserver

chkconfig --del hadoop-yarn-resourcemanager   

chkconfig --del hadoop-hdfs-nfs3

chkconfig --del hive-hcatalog-server

chkconfig --del hive-server

chkconfig --del hive-webhcat-server

chkconfig --del sqoop-metastore

chkconfig --del llama

chkconfig --del spark-master

chkconfig --del spark-worker

chkconfig --del flume-ng-agent

chkconfig --del impala-catalog

chkconfig --del impala-state-store

chkconfig --del hue

chkconfig --del oozie

chkconfig --del hadoop-0.20-mapreduce-jobtrackerha

chkconfig --del hadoop-0.20-mapreduce-tasktracker

chkconfig --del hadoop-0.20-mapreduce-zkfc

chkconfig --del hadoop-hdfs-datanode

chkconfig --del hadoop-hdfs-journalnode

chkconfig --del hadoop-hdfs-namenode

chkconfig --del hadoop-hdfs-nfs3

chkconfig --del hadoop-hdfs-secondarynamenode

chkconfig --del hadoop-hdfs-zkfc

chkconfig --del hadoop-httpfs 

chkconfig --del hadoop-mapreduce-historyserver

chkconfig --del hadoop-yarn-nodemanager

chkconfig --del hadoop-yarn-proxyserver

chkconfig --del hadoop-yarn-resourcemanager

此处例举的可能不全，可通过chkconfig --list查看自动启动项，选择hadoop相关的进行去除。

登录CM界面
http://ip:7180 界面安装CDH

大概步骤如下：

选择节点（非CM的所有节点），选择服务（提供各种套餐，也可以自定义选择服务） ，安装服务（大部分已经RPM安装，此步骤很快），选择服务所处节点（如上已经规划过），认证用户和密码，选择服务数据库（自定义的mysql，如上已经安装好的），主机检测，启动服务。

CM4.*与CM5.*版本此步骤可能略有不同，但操作的内容大致相同。