kafka集群安装步骤

准备工作: 安装好zookeeper集群

一、上传并解压

1. cd /usr/kafka   (没有目录的话自己创建)
2. rz
3. tar -zxvf kafka_2.12-1.1.0.tgz

二、2.修改配置文件 /usr/kafka/kafka_2.12-1.1.0/config

1.修改server.properties
修改broker.id和zookeeper，并在最后追加host.name=master

broker.id=01
......
zookeeper.connect=zhiyou01:2181,zhiyou02:2181,zhiyou03:2181
.......
host.name=master

三、分发到其他节点下

(1)scp  -r  /usr/kafka/ root@slave01:/usr/kafka/
(2)scp  -r  /usr/kafka/ root@slave02:/usr/kafka/

四、更改其他节点的配置文件

slave01 的    broker.id=02
host.name=zhiyou02
slave02 的    broker.id=03
host.name=zhiyou03

五、启动

1、先启动zookeeper  （3台）
cd /usr/zookeeper/zookeeper-....../bin/
./zkServer.sh start
2、再启动kafka  （3台）
[root@master kafka_2.12-1.1.0]# ./bin/kafka-server-start.sh -daemon config/server.properties &
[1] 2949
[root@master kafka_2.12-1.1.0]# jps
2549 QuorumPeerMain
3261 Jps
3199 Kafka
[1]+  Done                  ./bin/kafka-server-start.sh -daemon config/server.properties
[root@master kafka_2.12-1.1.0]#

六、创建主题

1.[root@zhiyou01 kafka_2.12-1.1.0]# ./bin/kafka-topics.sh --create --zookeeper master:2181,slave01:2181,slave02:2181 --replication-factor 3 --partitions 3 --topic test
Created topic "test".
[root@zhiyou01 kafka_2.12-1.1.0]#
2.列出已创建的topic列表（master上）
[root@zhiyou01 kafka_2.12-1.1.0]# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
test
[root@zhiyou01 kafka_2.12-1.1.0]#
3.启动控制台生产者 (master上)
root@zhiyou01 kafka_2.12-1.1.0]./bin/kafka-console-producer.sh --broker-list master:9092, slave01:9092, slave02:9092 --topic test
[root@zhiyou01 kafka_2.12-1.1.0]# ./bin/kafka-console-producer.sh --broker-list zhiyou01:9092, zhiyou02:9092, zhiyou03:9092 --topic test
>  hello
4.启动控制台消费者  （其他的节点上面）
[root@zhiyou02 kafka_2.12-1.1.0]# ./bin/kafka-console-consumer.sh --bootstrap-server master:9092, slave01:9092, slave02:9092 --from-beginning --topic test
从生成者输入消息，在消费者查看消息,在其他节点上可以接收到hello即成功