您的位置:首页 > 其它

Zookeeper的安装部署 zookeeper参数配置说明 集群搭建,查看集群状态

2019-04-22 15:57 489 查看

首先给大家分享一个巨牛巨牛的人工智能教程,是我无意中发现的。教程不仅零基础,通俗易懂,而且非常风趣幽默,还时不时有内涵段子,像看小说一样,哈哈~我正在学习中,觉得太牛了,所以分享给大家!点这里可以跳转到教程

               

1、Zookeeper的安装部署

7.1 Zookeeper工作机制

7.1.1、Zookeeper集群角色

Zookeeper集群的角色:  Leader 和  follower (Observer)

zk集群最好配成奇数个节点

只要集群中有半数以上节点存活,集群就能提供服务

 

7.2 Zookeeper部署

7.2.1 机器准备

1/ 安装到3台虚拟机上,准备的三台服务器地址是:

C:\Windows\System32\drivers\etc\hosts中配置的内容如下:

 

 

 

192.168.106.80      hadoop

 

192.168.106.81      hadoop2

 

192.168.106.82      hadoop3

如果想同时能够操作三台服务器,可以进行如下配置:

2/ 安装好JDK

3/ 上传安装包。上传用工具。

4/ 解压

su - hadoop(切换到hadoop用户),如果直接是root用户则不需要这样切换

tar -zxvf zookeeper-3.4.5.tar.gz(解压)

5/ 重命名

mv zookeeper-3.4.5 zookeeper(重命名文件夹zookeeper-3.4.5为zookeeper)

可以删除里面一些源码工程相关的文件,剩下的是这些:

7.2.2修改环境变量

(注意:3台zookeeper都需要修改)

1/ su – root(切换用户到root)

2/ vi /etc/profile(修改文件)

3/ 添加内容:

export ZOOKEEPER_HOME=/home/hadoop/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

4/ 加载环境配置:

source /etc/profile

5/ 修改完成后切换回hadoop用户:

su - hadoop

 

7.2.3 修改Zookeeper配置文件

1、用root用户操作

cd zookeeper/conf

cp zoo_sample.cfg zoo.cfg

 

2、vi zoo.cfg

 

3、添加内容:

# The number of milliseconds of each tick

 

tickTime=2000

 

# The number of ticks that the initial

 

# synchronization phase can take

 

initLimit=10

 

# The number of ticks that can pass  between

 

# sending a request and getting an  acknowledgement

 

syncLimit=5

 

# the directory where the snapshot is  stored.

 

# do not use /tmp for storage, /tmp here  is just

 

# example sakes.

 

dataDir=/home/tuzq/software/zookeeper/zkdata

 

dataLogDir=/home/tuzq/software/zookeeper/log

 

# the port at which the clients will  connect

 

clientPort=2181

 

#

 

# Be sure to read the maintenance section  of the

 

# administrator guide before turning on  autopurge.

 

#

 

#  http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

 

#

 

# The number of snapshots to retain in  dataDir

 

#autopurge.snapRetainCount=3

 

# Purge task interval in hours

 

# Set to "0" to disable auto  purge feature

 

#autopurge.purgeInterval=1

 

server.1=  hadoop:2888:3888

 

server.2=  hadoop2:2888:3888

 

server.3=  hadoop3:2888:3888

 

 

 

参数说明:

 

tickTime:zookeeper中使用的基本时间单位, 毫秒值.

 

initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower。  initLimit参数配置初始化连接时,  follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime,  即5*2000=10000ms=10s.

 

syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime,  即4000ms.

 

dataDir: 数据存放目录. 可以是任意目录.

 

dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置

 

clientPort: 监听client连接的端口号.

 

server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口. 由于配置的是伪集群模式, 所以各个server的B, C参数必须不同.


4、创建文件夹:

cd /home/tuzq/software/zookeeper/

mkdir zkdata

mkdir -m 755 log

 

5、在data文件夹下新建myid文件,myid的文件内容为:

cd zkdata

echo 1 > myid

7.2.4 分发安装包到其他机器

scp -r /root/apps root@hadoop2:/root/

scp -r /root/apps root@hadoop3:/root/

 

7.2.5 修改其他机器的配置文件

1、修改myid文件

到hadoop2上:修改myid为:2

到hadoop3上:修改myid为:3

 

7.2.6 启动(每台机器)

注:

1、事先将三台服务器的防火墙都关掉

2、全网统一hosts映射

先配好一台上的hosts

在hadoop机器中的hosts文件中做如下修改:

[root@hadoop zkdata]# cat /etc/hosts

 

127.0.0.1   localhost localhost.localdomain localhost4  localhost4.localdomain4

 

::1         localhost localhost.localdomain  localhost6 localhost6.localdomain6

 

192.168.106.80      hadoop

 

192.168.106.81      hadoop2

 

192.168.106.82      hadoop3

 

然后:

scp /etc/hosts  hadoop2:/etc

scp /etc/hosts  hadoop3:/etc

 

1fff8

 

查看hadoop2中的hosts文件中的内容

[root@hadoop2 zkdata]# cat /etc/hosts

 

127.0.0.1   localhost localhost.localdomain localhost4  localhost4.localdomain4

 

::1         localhost localhost.localdomain  localhost6 localhost6.localdomain6

 

192.168.106.80      hadoop

 

192.168.106.81      hadoop2

 

192.168.106.82      hadoop3

 

3、然后一台一台地启动

bin/zkServer.sh start

创建日志文件目录,如果没有这个日志文件将会报错

mkdir -p /home/tuzq/software/zookeeper/log

 

或者编写一个脚本来批量启动所有机器:

for host in " hadoop hadoop2 hadoop3"

do

ssh $host "source /etc/profile;/home/tuzq/software/zookeeper/bin/zkServer.shstart"

 

vim startupZK.sh

chmod +x startupZK.sh

#!/bin/bash

 

for host in "hadoop hadoop2  hadoop3"

 

do

 

     ssh $host "source  /etc/profile;/home/tuzq/software/zookeeper/bin/zkServer.sh   start"

 

done

 

7.2.7 查看集群状态

1、jps(查看进程)

2、zkServer.sh status(查看集群状态,主从信息)

 

分别查看hadoop hadoop2 hadoop3这三台服务器上的zookeeper的状态


           

浏览人工智能教程

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: