zookeeper+kafka配置

ZooKeeper

安装

#将ZooKeeper解压到/usr/local中

tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local

cd /usr/local

#重命名

sudo mv zookeeper-3.4.6 zookeeper

cd zookeeper/conf

sudo cp zoo_sample.cfg zoo.cfg

配置

1.在zoo.cfg中追加以下内容：

#server.n=ip:portA:portB

#n是服务器标识号（1~255）

#ip是服务器ip地址

#portA是与leader进行信息交换的端口

#portB是在leader宕机后，进行leader选举所用的端口

server.1=200.31.157.116:20881:30881

server.2=200.31.157.116:20882:30882

server.3=200.31.157.117:20881:30881

注：

配置文件信息解析：

tickTime：毫秒级的基本时间单位，其他时间如心跳/超时等都为该单位时间的整数倍。

initLimit：tickTime的倍数，表示leader选举结束后，followers与leader同步需要的时间，leader的数据非常多或followers比较多时，该值应适当大一些。

syncLimit：tickTime的倍数，表示follower和observer与leader交互时的最大等待时间，是在与leader同步完毕之后，正常请求转发或ping等消息交互时的超时时间。

clientPort：监听客户端连接的服务端口，若一台服务器上安装多个ZooKeeper server，则需要设置不同的端口号。

dataDir：内存数据库快照地址，事务日志地址（除非由dataLogDir另行指定）。

2.在$dataDir下新建文件myid，并写入服务器标识号

#/tmp/zookeeper为dataDir

cd /tmp/zookeeper/

sudo vim myid

#在myid中添加服务器标识号

启动停止

#进入$ZOOKEEPER_HOME，运行zkServer.sh

#启动

sudo bin/zkServer.sh start &

#停止

sudo bin/zkServer.sh stop

#查看状态

sudo bin/zkServer.sh status

Kafka

安装

tar –zxvf kafka_2.10-0.8.2.1.tgz –C /usr/local/

cd /usr/local

#重命名

sudo mv kafka_2.10-0.8.2.1 kafka

cd kafka/conf

配置

在配置文件server.properties修改如下内容：

#broker.id是broker的标识，具有唯一性

broker.id=0

#端口号默认为9092

port=9092

#host.name位kafka所在机器的ip

host.name=200.31.157.116

#设置zookeeper，可连接多个zookeeper服务器

zookeeper.connect=200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182

启动停止

#进入$KAFKA_HOME

#启动

sudo bin/kafka-server-start.sh config/server.properties &

#停止

bin/kafka-server-stop.sh

生产/消费消息

#创建topic

bin/kafka-topics.sh --create --zookeeper 200.31.157.116:2182 --replication-factor 1 --partitions 1 --topic test

#生产消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

#消费消息

bin/kafka-console-consumer.sh –zookeeper 200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182 --topic test --from-beginning