ZooKeeper故障处理

Zookeeper一般会出现以下两种故障：

1. Zookeeper进程挂掉；
2. Zookeeper进程还在，但不提供服务；（提示：This ZooKeeper instance is not currently serving requests）
Zookeeper故障监控：
1. 针对zookeeper进程的监控，直接监控器进程是否存在即可；（zookeeper进程名字：QuorumPeerMain）
2. 针对zookeeper不能提供服务，需要通过linux shell命令监控；
当在linux下输入以下命令并得到下面的结果时，说明zookeeper还活着，但不提供服务了。（这种情况几率大）
[root@192.168.1.1 bin]# echo stat | nc localhost 2181
This ZooKeeper instance is not currently serving requests
当在linux下输入以下命令并得到下面的结果时，说明zookeeper服务正常。
[root@192.168.1.1 bin]# echo stat | nc localhost 2181Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMTClients: /192.168.1.12:29432[1](queued=0,recved=13,sent=13) /127.0.0.1:43448[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/1/11Received: 235Sent: 17Connections: 2Outstanding: 0Zxid: 0x100000004Mode: leaderNode count: 4Zookeeper故障处理：1. 当zookeeper出现以上两种故障或未知故障时，请先尝试重启zookeeper；
（启动命令：/usr/zookeeper-3.4.6/bin/ 目录下执行 ./zkServer.sh start ）2. 重启之后首先要输入命令jps，看zookeeper进程（QuorumPeerMain）是否起来；
3. 如果zookeeper进程起来，再输入命令echo stat | nc localhost 2181，看服务是否正常（如果数据量大可能需要等几分钟才能显示正确）；
4. 如果第2步的进程没有起来，或者第3步的显示不能提供服务，则需要清除以下数据后再试1、2、3步；
需要清除下面两个文件夹下的所有数据（最好将数据备份到别的地方或重命名文件夹名字）：/var/zookeeper/data/version-2/var/zookeeper/logs/version-25. 如果不幸走到了这一步，则意味着第4步重试后第2步进程还是没有起来或第3步不能提供服务，这时需要重新搭建一套zookeeper服务，并修改所有使用zookeeper服务的hosts。
Zookeeper服务搭建：1. 将附件中的安装包解压到linux机器上的 /usr/ 目录下；如：/usr/zookeeper-3.4.6
2. 修改附件中的zoo.cfg文件，将文件中的的ip修改为新机器的ip；
server.1=192.168.1.1:2888:3888server.2=192.168.1.2:2888:3888server.3=192.168.1.3:2888:38883. 将修改完的zoo.cfg文件拷贝到解压目录 /usr/zookeeper-3.4.6/conf/ ；
4. 在新机器上创建以下目录和文件：
/var/zookeeper/data//var/zookeeper/logs//var/zookeeper/data/myid 该文件下要写上第2步中ip对应的server.后面的数字，比如192.168.1.1 ip对应的是server.1，则该机器上的myid中的内容就是1。其他的都类似。5. 到此为止zookeeper服务就搭建完毕了，下面就需要启动zookeeper了。
（启动命令：/usr/zookeeper-3.4.6/bin/ 目录下执行 ./zkServer.sh start ）

附件文件地址：
http://down.51cto.com/data/2114349