CDH5.9.0集群部署与搭建
2018-01-08 16:31
363 查看
原文:http://blog.csdn.net/yizheyouye/article/details/53173912
目录(?)[-]
下载CDH各种RPM包
1 下载cloudera-manager-installerbin
2 下载对应平台架构的RPMS
设置IP地址所有节点
1 设置IP地址和网关
2 设置主机名
设置hosts文件所有节点
关闭防火墙所有节点
1 检查防火墙状态
2关闭防火墙
关闭SELinux所有节点
配置SSH可选
1 修改sshd配置文件
2 生成私钥和公钥所有节点
3 重命名节点的公钥所有节点
4 把从节点Worker的公钥拷贝到主节点Master的ssh目录下
5 将所有节点的公钥信息保存到主节点下的authorized_keys新生成的文件中
6 把authorized_keys文件拷贝到从节点上去
7 设置SSH 目录权限
8 测试SSH
MySQL 564安装可选
1 检查MySQL及相关RPM包是否安装如果有安装则移除
2 下载MySQL包MySQL-5634-1linux_glibc25x86_64rpm-bundletar
3 解压
4 安装MySQL56
5 初始化MySQL及设置密码
6 允许远程登陆
7 设置开机自启动
8 MySQL的默认安装位置
9 修改字符集和数据存储路径
卸载CentOS自带的JDK 所有节点
1 查看系统自带java版本
2 查看OpenJDK相关包
3 移除OpenJDK相关包
执行cloudera-manager-installerbin
1 安装 oracle-j2sdk17-170update67-1x86_64rpm 包
2 安装 cloudera-manager-daemons-590-1cm590p0249el6x86_64rpm包
3 安装 cloudera-manager-server-590-1cm590p0249el6x86_64rpm包
4 安装cloudera-manager-server-db-2-590-1cm590p0249el6x86_64rpm包
5 各个节点安装cloudera-manager-agent-590-1cm590p0249el6x86_64rpm
Cloudera-Manager 服务配置
完成安装
最近新购了一台工作站,急切的想试一下手,就搭建个CDH集群吧,练练手,顺便了解一下最新版的CDH长成什么样子了……
工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ;内存48G;显卡4G……
这个地址可以选择最新的CM的安装文件进行下载,此处,我选择的是5.9.0版本
http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
http://archive.cloudera.com/cm5/installer/5.9.0/cloudera-manager-installer.bin(我选择下载的版本)
对应我的平台的RPMS包下载地址如下:
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/
2
3
4
5
修改系统的网络配置文件
例如:修改HOSTNAME=Master
各个节点的主机名配置如下
2
3
4
5
(注:此处集群的各个节点的主机名字就是用安装系统时的设置的主机名,所以我就不用修改了)
绑定IP地址与HostName
2
3
4
5
系统重启后,查看防火墙状态如下
使用getenforce查看是否关闭:
显示的是在强制执行,接下来我们需要关掉它
修改/etc/selinux/config 文件,将SELINUX=enforcing改为SELINUX=disabled,修改完成后重启机器生效。
(将SELINUX=enforcing改为disabled)
重启之后,查看是否生效
已经生效,注意每个节点都要关闭SElinux哟
去掉注释,放开这几个配置项
重启sshd服务
Master:
Worker1:
Worker2:
Worker3:
Worker4:
最后在Master的.ssh目录下面查看以下:
2
3
4
5
查看一下authorized_keys文件内容:
(这样Master和各个Worker之间就能够相互通信了—Master可以通过ssh连接到Worker1,Worker2,Worker3,Worker4; Worker1,Worker2,Worker3,Worker4可以通过ssh连接到Master)
修改配置文件位置
2
2
3
4
2
3
4
查看字符集
2
3
2
3
Master节点操作如下:
这边会有几个依赖找不到,需要联网,通过yum下载安装:
2
3
4
5
6
依次安装如下:
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
这里需要网络哟
浏览器运行192.168.1.100:7180打开CM的web界面如下,默认的用户名和密码都是admin
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
集群正常运行界面
几个主要服务如下:
目录(?)[-]
下载CDH各种RPM包
1 下载cloudera-manager-installerbin
2 下载对应平台架构的RPMS
设置IP地址所有节点
1 设置IP地址和网关
2 设置主机名
设置hosts文件所有节点
关闭防火墙所有节点
1 检查防火墙状态
2关闭防火墙
关闭SELinux所有节点
配置SSH可选
1 修改sshd配置文件
2 生成私钥和公钥所有节点
3 重命名节点的公钥所有节点
4 把从节点Worker的公钥拷贝到主节点Master的ssh目录下
5 将所有节点的公钥信息保存到主节点下的authorized_keys新生成的文件中
6 把authorized_keys文件拷贝到从节点上去
7 设置SSH 目录权限
8 测试SSH
MySQL 564安装可选
1 检查MySQL及相关RPM包是否安装如果有安装则移除
2 下载MySQL包MySQL-5634-1linux_glibc25x86_64rpm-bundletar
3 解压
4 安装MySQL56
5 初始化MySQL及设置密码
6 允许远程登陆
7 设置开机自启动
8 MySQL的默认安装位置
9 修改字符集和数据存储路径
卸载CentOS自带的JDK 所有节点
1 查看系统自带java版本
2 查看OpenJDK相关包
3 移除OpenJDK相关包
执行cloudera-manager-installerbin
1 安装 oracle-j2sdk17-170update67-1x86_64rpm 包
2 安装 cloudera-manager-daemons-590-1cm590p0249el6x86_64rpm包
3 安装 cloudera-manager-server-590-1cm590p0249el6x86_64rpm包
4 安装cloudera-manager-server-db-2-590-1cm590p0249el6x86_64rpm包
5 各个节点安装cloudera-manager-agent-590-1cm590p0249el6x86_64rpm
Cloudera-Manager 服务配置
完成安装
最近新购了一台工作站,急切的想试一下手,就搭建个CDH集群吧,练练手,顺便了解一下最新版的CDH长成什么样子了……
工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ;内存48G;显卡4G……
1 下载CDH各种RPM包
1.1 下载cloudera-manager-installer.bin
这个地址可以选择最新的CM的安装文件进行下载,此处,我选择的是5.9.0版本http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
http://archive.cloudera.com/cm5/installer/5.9.0/cloudera-manager-installer.bin(我选择下载的版本)
1.2 下载对应平台/架构的RPMS
对应我的平台的RPMS包下载地址如下:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/
2 设置IP地址(所有节点)
2.1 设置IP地址和网关
Master :IP 192.168.1.100 网关 192.168.1.254 Worker1:IP 192.168.1.101 网关 192.168.1.254 Worker2:IP 192.168.1.102 网关 192.168.1.254 Worker3:IP 192.168.1.103 网关 192.168.1.254 Worker4:IP 192.168.1.104 网关 192.168.1.2541
2
3
4
5
2.2 设置主机名
修改系统的网络配置文件vim /etc/sysconfig/network1
例如:修改HOSTNAME=Master
各个节点的主机名配置如下
192.168.1.100 主机名: Master 192.168.1.101 主机名: Worker1 192.168.1.102 主机名: Worker2 192.168.1.103 主机名: Worker3 192.168.1.104 主机名: Worker41
2
3
4
5
(注:此处集群的各个节点的主机名字就是用安装系统时的设置的主机名,所以我就不用修改了)
3 设置hosts文件(所有节点)
绑定IP地址与HostNamevim /etc/hosts1
192.168.1.100 Master 192.168.1.101 Worker1 192.168.1.102 Worker2 192.168.1.103 Worker3 192.168.1.104 Worker41
2
3
4
5
4 关闭防火墙(所有节点)
4.1 检查防火墙状态
service iptables status1
4.2关闭防火墙
chkconfig iptables off //永远关闭-重启后生效1
service iptables off //临时关闭-不用重启1
系统重启后,查看防火墙状态如下
5 关闭SELinux(所有节点)
使用getenforce查看是否关闭: 显示的是在强制执行,接下来我们需要关掉它
修改/etc/selinux/config 文件,将SELINUX=enforcing改为SELINUX=disabled,修改完成后重启机器生效。
(将SELINUX=enforcing改为disabled)
reboot -h now1
重启之后,查看是否生效
已经生效,注意每个节点都要关闭SElinux哟
6 配置SSH(可选)
6.1 修改sshd配置文件
vim /etc/ssh/sshd_config1
去掉注释,放开这几个配置项
重启sshd服务
service sshd restart1
6.2 生成私钥和公钥(所有节点)
ssh-keygen -t rsa1
Master:
Worker1:
Worker2:
Worker3:
Worker4:
6.3 重命名节点的公钥(所有节点)
cp id_rsa.pub authorized_keys_Master1
cp id_rsa.pub authorized_keys_Worker11
cp id_rsa.pub authorized_keys_Worker21
cp id_rsa.pub authorized_keys_Worker31
cp id_rsa.pub authorized_keys_Worker41
6.4 把从节点(Worker)的公钥拷贝到主节点(Master)的.ssh目录下
scp authorized_keys_Worker1 hjr@Master:/home/hjr/.ssh1
scp authorized_keys_Worker2 hjr@Master:/home/hjr/.ssh1
scp authorized_keys_Worker3 hjr@Master:/home/hjr/.ssh1
scp authorized_keys_Worker4 hjr@Master:/home/hjr/.ssh1
最后在Master的.ssh目录下面查看以下:
6.5 将所有节点的公钥信息保存到主节点下的authorized_keys(新生成的)文件中
cat authorized_keys_Master >> authorized_keys cat authorized_keys_Worker1 >> authorized_keys cat authorized_keys_Worker2 >> authorized_keys cat authorized_keys_Worker3 >> authorized_keys cat authorized_keys_Worker4 >> authorized_keys1
2
3
4
5
查看一下authorized_keys文件内容:
6.6 把authorized_keys文件拷贝到从节点上去
scp authorized_keys hjr@Worker1:/home/hjr/.ssh1
scp authorized_keys hjr@Worker2:/home/hjr/.ssh1
scp authorized_keys hjr@Worker3:/home/hjr/.ssh1
scp authorized_keys hjr@Worker4:/home/hjr/.ssh1
6.7 设置.SSH 目录权限
设置.ssh目录权限 : chmod 700 -R .ssh1
6.8 测试SSH
(这样Master和各个Worker之间就能够相互通信了—Master可以通过ssh连接到Worker1,Worker2,Worker3,Worker4; Worker1,Worker2,Worker3,Worker4可以通过ssh连接到Master)
7 MySQL 5.6.4安装(可选)
7.1 检查MySQL及相关RPM包,是否安装,如果有安装,则移除
7.2 下载MySQL包:MySQL-5.6.34-1.linux_glibc2.5.x86_64.rpm-bundle.tar
7.3 解压
7.4 安装MySQL5.6
rpm -ivh MySQL-server-5.6.34-1.linux_glibc2.5.x86_64.rpm1
rpm -ivh MySQL-devel-5.6.34-1.linux_glibc2.5.x86_64.rpm1
rpm -ivh MySQL-client-5.6.34-1.linux_glibc2.5.x86_64.rpm1
修改配置文件位置
cp /usr/share/mysql/my-default.cnf /etc/my.cnf1
7.5 初始化MySQL及设置密码
/usr/bin/mysql_install_db1
service mysql start1
cat /root/.mysql_secret #查看root账号密码1
mysql -uroot -pawSDoqAX24LERoPA1
SET PASSWORD = PASSWORD('124077'); #设置密码为1240771
7.6 允许远程登陆
use mysql; select host,user,password from user;1
2
update user set password=password('124077') where user='root'; update user set host='%' where user='root' and host='localhost'; flush privileges; exit1
2
3
4
7.7 设置开机自启动
chkconfig mysql on1
chkconfig --list | grep mysql1
7.8 MySQL的默认安装位置(*)
/var/lib/mysql/ #数据库目录 /usr/share/mysql #配置文件目录 /usr/bin #相关命令目录 /etc/init.d/mysql #启动脚本1
2
3
4
7.9 修改字符集和数据存储路径
配置/etc/my.cnf文件,修改数据存放路径、mysql.sock路径以及默认编码utf-8.1
查看字符集
show variables like '%collation%'; show variables like '%char%';1
2
3
7 卸载CentOS自带的JDK (所有节点)
7.1 查看系统自带java版本
java –version1
7.2 查看OpenJDK相关包
rpm –qa | grep java1
7.3 移除OpenJDK相关包
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 rpm -e --nodeps tzdata-java-2013g-1.el6.noarch1
2
3
Master节点操作如下:
8 执行cloudera-manager-installer.bin
8.1 安装 oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm 包
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm1
8.2 安装 cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm包
rpm -ivh cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm1
8.3 安装 cloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpm包
rpm -ivh cloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpm1
8.4 安装cloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpm包
rpm -ivh cloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpm1
8.5 各个节点安装cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm
rpm -ivh cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm1
rpm -ivh cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm1
这边会有几个依赖找不到,需要联网,通过yum下载安装:
warning: cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY error: Failed dependencies: mod_ssl is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64 openssl-devel is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64 python-psycopg2 is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64 MySQL-python is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_641
2
3
4
5
6
依次安装如下:
yum install MySQL-python1
yum install python-psycopg21
yum install openssl-devel1
yum install mod_ssl1
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
这里需要网络哟
9 Cloudera-Manager 服务配置
浏览器运行192.168.1.100:7180打开CM的web界面如下,默认的用户名和密码都是admin@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
10 完成安装
集群正常运行界面 几个主要服务如下:
相关文章推荐
- CDH集群搭建部署
- 基于Jenkins搭建集群部署环境
- 1)CDH集群离线搭建
- Spark集群环境搭建+Maven、SBT编译部署+IDEA开发(二)
- 利用CDH进行spark集群部署
- redis集群环境搭建部署
- Cloudera 5.7集群部署(二)--CM、CDH安装
- 基于dubbo从传统MVC架构转向SOA架构分布式设计4--(服务部署集群搭建及负载均衡)
- Redis主从集群搭建及容灾部署(哨兵sentinel)
- Spark集群基于Zookeeper的HA搭建部署
- Spark2.0.1 on yarn with hue 集群搭建部署(一)基础环境配置
- redis主从集群搭建及容灾部署(哨兵sentinel)
- 朝花夕拾之--大数据平台CDH集群离线搭建
- 社交网站部署——Nginx服务器+PHP服务器搭建+MySQL主从集群
- CDH 版本 Hadoop集群搭建
- 部署AlwaysOn第一步:搭建Windows服务器故障转移集群
- 一步一图搭建-分布式服务器部署之mysql集群-主从复制与读写分离
- 搭建及使用K8s集群 <k8s 集群部署springcloud 多应用>
- Kafka集群搭建02-Kafka 集群部署
- Kubernetes(三) - 使用Rancher部署K8S集群(搭建Kubernetes)