HDP2.4安装(五)：集群及组件安装

HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本对应图如下：（图片来自hortonwork官网）



安装过程：

集群规划

环境准备

软件包下载： （HDP2.4的安装包过大，推荐离线安装）



HDP安装部署

集群规划：

192.168.2.89 hdp1 (ambari)

192.168.2.2 hdp2 (worknode1)

192.168.2.99 hdp3 (worknode2)

192.168.2.21 hdp4 (masterNode)

192.168.2.169 R (secondary master、zookeeper)

环境准备：

所有节点操作系统安装完成后，hdp1用来部署本地安装下载源，要求所有节点均能通过ssh无密访问

在hdp1机器上，执行命令：vim /etc/hosts 配置文件内容如下图. （要求所有节点机器的hosts文件内容均是如此）



hdp1.命令： cd ~/.ssh (切换目录）

hdp1.命令：ssh-copy-id hdp1 (配置hdp1能无密访问所有节点）

hdp1.命令：ssh-copy-id hdp2

hdp1.命令：ssh-copy-id hdp3

hdp1.命令：ssh-copy-id hdp4

hdp1.命令：ssh-copy-id R

注意：其它节点的机器如上配置，必须保证能无密访问hdp1

将hdp安装包上传至hdp1服务器，并切换至该目录（如：/usr/zhu)

命令： tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz （安装包文件解压）

命令： tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz

将解压后的生成的 HDP 和 HDP-UTILS-1.1.0.20 目录copy 到 /var/www/html 目录下

手工创建名为 hdp.rpo 的文件，内容如下 （http://192.168.2.89为安装ambari的机器IP）

[HDP-2.4.2.0]
name=HDPVersion-HDP-2.4.2.0
baseurl=http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

注意：baseurl 的地址必须与物理的文件能对应起来（即：http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0能正确访问）

同样方式，手工创建名为 hdp-util.repo 的文件，内容如下：

[HDP-UTILS-1.1.0.20]
name=HDPUtilsVersion-HDP-UTILS-1.1.0.20
baseurl=http://192.168.2.89/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

将 hdp.rpo 和 hdp-util.repo 文件上传至 /etc/yum.repos.d 目录，如下图：



将上传至 hdp1 服务器上的 rpo 文件分发至集群内其它机器节点的相同目录，命令如下：

hdp1命令： cd /etc/yum.repos.d

hdp1命令： scp hdp.repo hdp-util.repo hdp2:/etc/yum.repos.d （将文件copy至hdp2)

hdp1命令： scp hdp.repo hdp-util.repo hdp3:/etc/yum.repos.d

hdp1命令： scp hdp.repo hdp-util.repo hdp4:/etc/yum.repos.d

hdp1命令： scp hdp.repo hdp-util.repo R:/etc/yum.repos.d

HDP安装：

在任意机器浏览器上打开ambari web 界面 （http://192.168.2.89:8080 user:admin psd:admin)

在主页面 ”Create a Cluster“ 版板，选择 ”Launch Install Wizard“，如图：



按向导输入集群名

选择hdp2.4, 我们采用离线安装，在高级选项中将 redhat7 以外的其它选项全部去掉，同时配置本地源地址（对应repo文件中baseUrl地址），如下：



将ambari主机上生成的私钥文件下载到本地 （使用 sz 命令或 winSCP 工具 ）

在下一步中输入主机列表（hdp要求带FQDN的机器名，可不用理会），输入机器列表，导入私钥，如下图



选择"Register and Confirm", 忽略弹出的警告提示，继续如下图：



选择 "Next", 进入需要安装的服务选择模板（我主要是为了建HBase集群）,选择的服务如下：



选择 ”Next“， 进行服务与主机分配，如下图：



"Next" -> 进入 Slaves and client 分配，如下图：



”Next" -> 进入 Customize Services 定义，给 hive metastore 分配数据库,输入数据库名、用户和密码(bigdata)



点击 " Test Connection", 肯定是连不上的，手工创建数据库和用户

执行：create database hive; （创建hive数据库）

执行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'bigdata'; (创建hive用户)

执行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'bigdata';

执行：FLUSH PRIVILEGES; （刷新权限）

执行：quit;

命令：service mysql restart;

验证：mysql -u hive -p (成功登陆则OK）

点击 " Test Connection", 如上图则OK

ambari 监控UI 工具 admin 赋 密码（bigdata),如图：



"Next", 在服务安装清单界面，确认无误后，选择 ”Deploy"

等待系统安装，安装结束后如图：



出现如下界面，则表示安装ok