Red Hat Linux 6.5 安装Kafka 集群

一，安装环境：

操作系统：Red Hat Linux 6.5

JDK版本：1.8.0_151 //需先安装JDK

Zookeeper版本：3.4.12

Kafka版本：2.11-1.1.0

IP地址：10.11.111.42 10.11.111.43 10.11.111.45主机名：mrzwk-5 mrzwk-6 mrzwk-8备注：搭建kafka集群前提是安装好zookeeper集群

https://mp.csdn.net/postedit/80484471

安装kafka集群

#下载
http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz#解压# cd /home/weihu # tar -zxvf kafka_2.11-1.1.0.tgz -C kafka

# cd /home/weihu/kafka
# ln -s kafka_2.11-1.1.0 kafka
# cd kafka

#修改kafka配置文件#cd cd /home/weihu/kafka/kafka/config #vi server.properties添加修改如下列：

#mrzwk-5broker.id=0 host.name=10.11.111.42 advertised.listeners=PLAINTEXT://10.11.111.42:9092 socket.request.max.bytes=104857600 log.dirs=/home/weihu/kafka/kafka/kafka-logs num.partitions=2 log.retention.hours=168 log.segment.bytes=536870912 log.retention.check.interval.ms=60000 log.cleaner.enable=false zookeeper.connect=10.11.111.42:2181,10.11.111.43:2181,10.11.111.45:2181 zookeeper.connection.timeout.ms=1000000#mrzwk-6broker.id=1 host.name=10.11.111.43 advertised.listeners=PLAINTEXT://10.11.111.43:9092 socket.request.max.bytes=104857600 log.dirs=/home/weihu/kafka/kafka/kafka-logs num.partitions=2 log.retention.hours=168 log.segment.bytes=536870912 log.retention.check.interval.ms=60000 log.cleaner.enable=false zookeeper.connect=10.11.111.42:2181,10.11.111.43:2181,10.11.111.45:2181 zookeeper.connection.timeout.ms=1000000#mrzwk-8broker.id=2 host.name=10.11.111.45 advertised.listeners=PLAINTEXT://10.11.111.45:9092 socket.request.max.bytes=104857600 log.dirs=/home/weihu/kafka/kafka/kafka-logs num.partitions=2 log.retention.hours=168 log.segment.bytes=536870912 log.retention.check.interval.ms=60000 log.cleaner.enable=false zookeeper.connect=10.11.111.42:2181,10.11.111.43:2181,10.11.111.45:2181 zookeeper.connection.timeout.ms=1000000#每个Broker保持唯一，可从0开始递增编号
启动kafka:

先要确保zookeeper已启动，然后分别在3台主机上所有的Kafka目录执行

# bin/kafka-server-start.sh config/server.properties&

如果无报错则说明启动成功

验证kafka安装结果

创建topic–test

列出已创建的topic列表
# cd /usr/local/kafka
#./bin/kafka-topics.sh --create --zookeeper mrzwk-5:2181, mrzwk-6:2181, mrzwk-8:2181 --replication-factor 3 --partitions 3 --topic test

#./bin/kafka-topics.sh --list --zookeeper localhost:2181

模拟客户端去发送消息

#./bin/kafka-console-producer.sh --broker-list mrzwk-5:9092, mrzwk-6:9092, mrzwk-8:9092 --topic test

模拟客户端去接受消息

#./bin/kafka-console-consumer.sh --zookeeper mrzwk-5:2181, mrzwk-6:2181, mrzwk-8:2181 --from-beginning --topic test

三台成功接收消息表示安装无误。

阅读更多