[001]kafka集群搭建总结

一、单机版

1、 安装

1 2 3 4

tar xzf kafka-0.7.2.tgz cd kafka-0.7.2 ./sbt update ./sbt package

2、 启动server

启动zookeeper 由于我们zookeeper集群是独立部署的，所以这里不用启动kafka自带的，直接启动我们自己的zookeeper服务就可以了。

启动kafka服务

bin/kafka-server-start.sh config/server.properties

3、 发送消息

1 2 3

bin/kafka-console-producer.sh --zookeeper localhost:2181 --topic test This is a message This is another messag

4、 开启consumer

1 2 3

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning This is a message This is another message

二、集群搭建

1、配置

使用2个kafka broker来构建这个集群环境，分别为kafka-0,kafka-1.

集群环境需要修改配置文件

# vim config/server.properties

brokerid：这个每个server（broker）必须唯一，写数字

hostname：这个也是唯一的，写服务器IP即可

kafka-0

1. broker.id=0

2. port=9092

3. host.name=192.168.1.210

4. log.dir=/home/lixuze/opt/kafka-0.7.2/kafka-logs（消息目录位置）

还有就是zookeeper.connect也要配置

zookeeper.connect=192.168.1.210:2181,192.168.1.211:2181,192.168.1.212:2181

kafka-1

1. broker.id=1

2. port=9093

3. host.name=192.168.2.112

4. ##其他配置和kafka-0保持一致

JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties &

如果你的一台机器上部署了多个kafka broker，你需要声明JMS_PORT.

JMS_PORT=9997 bin/kafka-server-start.sh config/server.properties &

2、启动

启动zkServer,启动kafkaServer，

运行producer：bin/kafka-console-producer.sh --zookeeper 192.168.1.210:2181 --topictest 这是相当于开启了一个producer的命令行。

运行consumer，新启一个terminal：bin/kafka-console-consumer.sh--zookeeper 192.168.10.11:2181 --topic test --from-beginning

创建Topic

# /usr/kafka-0.8.0-src/bin/kafka-create-topic.sh --zookeeper localhost:2181--partition 1 --topic test

查看Topic

# /usr/kafka-0.8.0-src/bin/kafka-list-topic.sh --zookeeper localhost:2181

输出：

topic: test partition: 0 leader: 1 replicas: 1 isr: 1

说明：

partiton： partion id，由于此处只有一个partition，因此partition id 为0

leader：当前负责读写的lead broker id

relicas：当前partition的所有replication broker list

isr：relicas的子集，只包含出于活动状态的broker

创建topic

./kafka-topics.sh --create --zookeeper192.168.1.201:2181 --replication-factor 2 --partition 1 --topic test

查看topic

./kafka-topics.sh --describe --zookeeper192.168.1.201:2181