kafka集群及zookeeper集群搭建

在搭建kafka集群之前首先需要搭建kafka集群，因为kafka需要依赖zookeeper
1.搭建zookeeper集群

   1.1.准备三台机器，可以是虚拟机，笔者使用的Vmware虚拟出了三台机器，使用的CentOS6.5镜像，ip地址如下：

   192.168.74.79

   192.168.74.80

   192.168.74.81

   修改/etc/hosts添加主机名，如下：
192.168.74.79 node-01
192.168.74.80 node-02
192.168.74.81 node-03  

   1.2.下载zookeeper二进制tar包，笔者使用的是zookeeper-3.4.6.tar.gz，可去zookeeper官网自行下载，下载完了后，上传到虚拟主机，在

   /usr/local下创建目录zookeeper并解压到该目录下

# mkdir /usr/local/zookeeper
# tar -zxvf zookeeper-3.4.6.tar.gz

  

   1.3.在/usr/local/zookeeper目录下创建data和logs目录用于记录zookeeper存放数据和日志记录

 

# mkdir data logs

  

   1.4.cd 到zookeeper-3.4.6目录下，将conf目录下的zoo_sample.cfg文件复制一份并重命名为zoo.cfg

# cp zoo_sample.cfg zoo.cfg

  

   1.5.修改zoo.cfg，需要修改和新增的内容如下：

   #修改成上面创建的data目录路径

dataDir=/usr/local/zookeeper/data
#新增
dataLogDir=/usr/local/zookeeper/logs
#新增
server.1=node-01:2881:3881
server.2=node-02:2881:3881
server.3=node-03:2881:3881

  

   1.6.其他机器按照上面步骤操作，启动zookeeper，cd到bin，./zkServer.sh start，查看zookeeper状态，./zkServer.sh status

   
2.搭建kafka集群

   还是zookeeper所使用的三台服务器，步骤如下：

   2.1.去官网下载kafka二进制安装tar包，笔者使用的是kafka_2.11-0.10.2.0.tgz，在/usr/local下创建kafka目录并解压到kafka目录下

# mkdir /usr/local/kafka
# tar -zxvf kafka_2.11-0.10.2.0.tgz

  

   2.2.进入到/usr/local/kafka/kafka_2.11-0.10.2.0/config目录下，修改server.properties

#kafka唯一主机标识，不同机器中的kafka不能相同
broker.id=0
host.name=192.168.74.79
log.dirs=/usr/local/kafka/kafkalogs
zookeeper.connect=192.168.74.79:2181,192.168.74.80:2181,192.168.74.81:2181

   其他机器也是一样，记住broker.id不能再为0了

  
    2.3.启动kafka，bin/kafka-server-start.sh -daemon config/server.properties，通过jps查看kafka进程
25052 Jps
6622 Kafka
3.kafka集群搭建遇到的那些坑：

1、如果你的kafka中的server.properties文件中的broker.id=0不修改，启动时会报错，按照顺序依次修改成0,1,2......

2、server.properties文件中如果没有host.name就要加上，否则通过kafka api会无法访问

3、使用bin/kafka-server-stop.sh在centOS6.5关闭失效，使用kill -s TERM $(jps -l | grep 'kafka\.Kafka' | awk '{print $1}')关闭

4、使用bin/kafka-server-start config/server.properties & 当关闭控制台后kafka就会自动关闭，所以应该使用bin/kafka-server-start -daemon config/server.properties &作为后台程序运行