Kafka学习总结(五)——Kafka集群搭建

1、准备好kafka安装包，unzip xxx.zip 解压。




压缩包网盘地址：http://pan.baidu.com/s/1o8pmH2U2、进入到kafka的config目录




3、先搭建三个节点zk集群，三台机器。修改zookeeper.properties如下配置信息。



cd /home/xxx/data/zookeeper 目录



每台机器都需要创建myid文件，内容依次为1，2，3如下是3台集群服务器样例：




4、三台机器都修改好zookeeper.properties文件和创建好myid文件进入kafka目录



执行启动zookeeper命令：nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >logs/zookeeper.log 2>1 &




三台机器都执行启动命令，查看logs/zookeeper.log 文件，没有报错就说明zookeeper集群启动成功了。5、着手搭建kafka集群修改server.properties配置文件，三个配置相应修改。host.name 为各机器的IP地址




配置文件最下方：




5、启动kafka三个节点进入kafka目录，执行如下命令nohup ./bin/kafka-server-start.sh config/server.properties >logs/kafka.log 2>1 &6、测试kafka集群1-进入kafka根目录，创建topic--testbin/kafka-topics.sh --create --zookeeper 192.168.1.xx:2181,192.168.1.xx:2181,192.168.1.xx:2181 --replication-factor 1 --partitions 1 --topic test




2-列出已创建的topic列表bin/kafka-topics.sh --list --zookeeper localhost:21813-模拟客户端去发送消息bin/kafka-console-producer.sh --broker-list 192.168.1.xx:9092,192.168.1.xx:9092,192.168.1.xx:9092 --topic test




4-模拟客户端去接受消息bin/kafka-console-consumer.sh --zookeeper 192.168.1.xx:2181,192.168.1.xx:2181,192.168.1.xx:2181 --from-beginning --topic test




7、自己测试结果




bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test