大数据时代|Zookeeper分布式集群搭建,和你的认知是否一致
2020-06-01 04:15
190 查看
前言
Zookeeper是什么?
官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。
一、环境准备
软件 | 版本 |
Linux系统 | CentOS7 |
JDK | jdk-8u221-linux-x64.tar.gz |
Zookeeper | zookeeper-3.4.5-cdh5.14.2.tar.gz |
二、机器配置
主机名 | hadoop01 | hadoop02 | hadoop03 |
内存 | 8G | 8G | 8G |
CPU | 4核 | 4核 | 4核 |
硬盘 | 500G | 500G | 500G |
服务 |
QuorumPeerMain |
QuorumPeerMain |
QuorumPeerMain
|
三、前期准备工作
1、关闭防火墙(使用root权限,将ip修改成对应的ip地址)
[code]firewall-cmd --state # 查看防火墙状态 systemctl stop firewalld.service # 停止防火墙 systemctl disable firewalld.service # 禁止开机启动防火墙
2、配置host主机映射(使用root权限,将ip修改成对应的ip地址)
[code]sudo vi /etc/hosts ip1 hadoop01 ip2 hadoop02 ip3 hadoop03
3、创建普通用户(bigdata)
[code]useradd bigdata # 添加普通用户 passwd bigdata # 为普通用户设置密码
4、为bigdata用户配置ssh免密码登陆(具体操作步骤略,执行命令如下)
[code]ssh-keygen -t rsa # 生成密钥对(一路回车即可) ssh-copy-id hadoop01 # 分别拷贝公钥到三台机器上
5、配置三台机器的时间同步
待更新
四、Zookeeper分布式集群搭建
1、安装jdk,将jdk安装在/usr/local目录下, 要求执行用户需要有该目录下的权限
1.1、解压jdk
[code]tar zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local
1.2、配置环境变量
[code]vi ~/.bash_profile ## 在行末添加以下内容,并保存关闭 ############# JAVA_HOME ################ export JAVA_HOME=/usr/local/jdk1.8.0_221 export PATH=$PATH:$JAVA_HOME/bin
1.3、生效环境变量
[code]source ~/.bash_profile
1.4、验证
[code]java -version
2、搭建zk环境,zk安装在/opt/software目录下,要求执行用户需要有该目录下的权限
2.1、下载并解压安装包
[code]tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software
2.2、创建目录
[code]mkdir -p /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData
2.3、修改配置文件
[code]mv zoo_sample.cfg zoo.cfg # 重命名配置文件 vi zoo.cfg # 修改dataDir属性 dataDir=/opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData # 添加以下内容 server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888
2.4、向另外两台机器分发
[code]scp -r zookeeper-3.4.5-cdh5.14.2 hadoop02:/opt/software scp -r zookeeper-3.4.5-cdh5.14.2 hadoop03:/opt/software
2.5、分别在三台机器上添加myid文件
[code]# 在hadoop01上执行 echo 1 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid # 在hadoop02上执行 echo 2 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid # 在hadoop03上执行 echo 3 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid
2.6、分别在三台机器上配置ZK环境变量
[code]vi ~/.bash_profile ## 在行末添加以下内容,并保存关闭 ############# ZK_HOME ################ export ZK_HOME=/opt/software/zookeeper-3.4.5-cdh5.14.2 export PATH=$PATH:$ZK_HOME/bin
2.7、生效环境变量
[code]source ~/.bash_profile
2.8、分别在三台机器上启动zk
[code]zkServer.sh start # 启动zk zkServer.sh status # 查看zk状态 zkServer.sh stop # 停止zk
至此,zookeeper分布式集群搭建完成,可以通过jps命令查看QuorumPeerMain进程是否存在,或者使用zkCli.sh进入zk客户端,来验证集群是否安装成功。
已上就是小编帮大家整理的zookeeper分布式的集群搭建,是否和大家的预期一样呢?欢迎大家留言交流,请关注小编,你们的支持就是小编最大的动力!!!
相关文章推荐
- Zookeeper分布式集群搭建
- 搭建分布式架构6--ZooKeeper 集群的安装
- Zookeeper一伪分布式集群搭建
- hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境
- Zookeeper分布式集群搭建
- 分布式架构中一致性解决方案——Zookeeper集群搭建
- hadoop2.74+zookeeper3.4.10+hbase1.2.6完全分布式HA集群搭建
- ZooKeeper 完全分布式集群环境搭建
- hadoop+hbase+zookeeper 分布式集群搭建完美运行
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- Zookeeper分布式集群搭建
- 大数据平台Hadoop的分布式集群环境搭建
- 搭建分布式架构6--ZooKeeper 集群的安装
- ZooKeeper完全分布式集群搭建
- Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- 大数据平台Hadoop的分布式集群环境搭建
- hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
- 【异常】Hadoop分布式集群搭建之zookeeper故障
- hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行