hadoop之zookeeper集群搭建

一 、zookeeper简介

   有一个leader，n个follower

   

二 、作用

   对hadoop ------>确保集群中只有一个活跃的NameNode...

   对HBase  ------>确保集群中只有一个HMaster...

   

三 、环境搭建

    下载地址:http://zookeeper.apache.org/

1.上传zk安装包

2.解压

   tar -zxvf zookeeper-3.4.9.tar.gz -C ../

   

3.配置
3.1添加一个zoo.cfg配置文件
$ZOOKEEPER/conf

mv zoo_sample.cfg zoo.cfg

=============================================================================

 （以下为集群zookeeper配置）
3.2修改配置文件（zoo.cfg）
dataDir=/home/storm/zookeeper-3.4.9/data

server.1=hadoop03:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop05:2888:3888

3.3在（dataDir=/itcast/zookeeper-3.4.5/data）创建一个myid文件，里面内容是server.N中的N（server.2里面内容为2）
echo "1" > myid

3.4将配置好的zk拷贝到其他节点
scp -r /home/storm/zookeeper-3.4.9 root@hadoop02:/home/spark/
scp -r /home/storm/zookeeper-3.4.9 root@hadoop05:/home/streamsets/

3.5注意：在其他节点上一定要修改myid的内容
在hadoop02应该讲myid的内容改为2 （echo "2" > myid）
在hadoop05应该讲myid的内容改为3 （echo "3" > myid）

4.启动集群
分别启动zk
./zkServer.sh start

 

   查看状态  ./zkServer.sh status

          结果：有1个leader，其余为follower

注意：集群搭建一定要关防火墙，否则查看状态时报错

5.启动客户端

./zkCli.sh

6.常用命令

  运行 ./zkCli.sh 进入客户端窗口

(1)  查看根目录
ls /
(2)创建一个文件夹  
文件        值
create /itcast0106 8000$
(3)查看文件夹内容

   get /itcast0106

四 、zookeeper配置文件参数简介

1.tickTime：CS通信心跳时间

Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。

tickTime=2000  

2.initLimit：LF初始通信时限

集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。

initLimit=5  

3.syncLimit：LF同步通信时限

集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）。

syncLimit=2  

 

4.dataDir：数据文件目录

Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。

dataDir=/home/michael/opt/zookeeper/data  

5.clientPort：客户端连接端口

客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

clientPort=2181 

6.服务器名称与地址：集群信息（服务器编号，服务器地址，LF通信端口，选举端口）

这个配置项的书写格式比较特殊，规则如下：

server.N=YYY:A:B 

server.1=hadoop03:2888:3888

server.2=hadoop02:2888:3888

server.3=hadoop05:2888:3888