kafka1:Kafka集群部署步骤
2016-02-26 10:18
246 查看
参考:
kafka 集群--3个broker 3个zookeeper创建实战
细细品味Kafka_Kafka简介及安装_V1.3 http://www.docin.com/p-1291437890.html
一. 准备工作:
1. 准备3台机器,IP地址分别为:192.168.3.230(233,234)
2. 下载kafka稳定版本,我的版本为:Scala 2.11 - kafka_2.11-0.9.0.0.tgz http://kafka.apache.org/downloads.html 3. 分别解压放入到想安装的目录下,我的目录为:/home/rasa 解压命令为:
tar -xzf *.tgz
二、搭建zookeeper集群
1.进入解压后的目录/home/rasa/kafka_2.11-0.9.0.0
2. 进入config目录下,修改zookeeper.properties文件(所有机器相同)
[align=left] tickTime =2000[/align]
[align=left] dataDir =/data/zookeeper/[/align]
[align=left] clientPort =2181[/align]
[align=left] initLimit =5[/align]
[align=left] syncLimit =2[/align]
[align=left] server.1 =192.168.3.230:2888:3888[/align]
[align=left] server.2 =192.168.3.233:2888:3888[/align]
[align=left] server.3 =192.168.3.234:2888:3888[/align]
3.在dataDir目录/data/zookeeper/下写一个myid文件,命令如下:
echo 1 >myid
注意:这个id是zookeeper的主机标示,每个主机id不同第二台是2 第三台是3。
4.逐次启动3台机器的zookeeper 构成一个集群:
> bin/zookeeper-server-start.sh config/zookeeper.properties &
由于ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以打印出来的部分的异常是可以忽略的。集群在选出一个Leader后,最后稳定了。其他结点可能也出现类似问题,属于正常。
三、搭建kafka集群
1.进入config目录,修改server.properties(逐个机器修改)
[align=left] broker.id =1(其他机器为 2/3)[/align]
[align=left] port =9092[/align]
[align=left] zookeeper.connect= 192.168.3.230:2181,192.168.3.233:2181,192.168.3.234:2181[/align]
[align=left] log.dirs =/home/rasa/kafka-logs[/align]
[align=left] host.name =192.168.3.230[/align]
[align=left] advertised.host.name =192.168.3.230[/align]
2.启动每台服务器的kafka:
> bin/kafka-server-start.sh config/server.properties &
四、测试集群
1.创建一个topic
> bin/kafka-topics.sh --create --zookeeper 192.168.3.230:2181 --replication-factor 3 --partitions 1
--topic test-topic
2.查看创建的topic
> bin/kafka-topics.sh --describe --zookeeper 192.168.3.230:2181 --topic test-topic
Topic:test-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: test-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
3.查看topic列表
> bin/kafka-topics.sh --list --zookeeper 192.168.3.230 :2181
test
test-topic
查看列表及具体信息
> bin/kafka-topics.sh --zookeeper localhost --describe
4.查看集群情况:
>bin/kafka-topics.sh --describe --zookeeper 192.168.3.233:2181 --topic test-topic
>bin/kafka-topics.sh --describe --zookeeper 192.168.3.234:2181 --topic test-topic
发现都能看到test-topic。
5.生产消息
> bin/kafka-console-producer.sh --broker-list 192.168.3.234:9092 -topic test-topic
6.消费消息
> bin/kafka-console-consumer.sh --zookeeper 192.168.3.234:2181 --from-beginning --topic test-topic
kafka 集群--3个broker 3个zookeeper创建实战
细细品味Kafka_Kafka简介及安装_V1.3 http://www.docin.com/p-1291437890.html
一. 准备工作:
1. 准备3台机器,IP地址分别为:192.168.3.230(233,234)
2. 下载kafka稳定版本,我的版本为:Scala 2.11 - kafka_2.11-0.9.0.0.tgz http://kafka.apache.org/downloads.html 3. 分别解压放入到想安装的目录下,我的目录为:/home/rasa 解压命令为:
tar -xzf *.tgz
二、搭建zookeeper集群
1.进入解压后的目录/home/rasa/kafka_2.11-0.9.0.0
2. 进入config目录下,修改zookeeper.properties文件(所有机器相同)
[align=left] tickTime =2000[/align]
[align=left] dataDir =/data/zookeeper/[/align]
[align=left] clientPort =2181[/align]
[align=left] initLimit =5[/align]
[align=left] syncLimit =2[/align]
[align=left] server.1 =192.168.3.230:2888:3888[/align]
[align=left] server.2 =192.168.3.233:2888:3888[/align]
[align=left] server.3 =192.168.3.234:2888:3888[/align]
3.在dataDir目录/data/zookeeper/下写一个myid文件,命令如下:
echo 1 >myid
注意:这个id是zookeeper的主机标示,每个主机id不同第二台是2 第三台是3。
4.逐次启动3台机器的zookeeper 构成一个集群:
> bin/zookeeper-server-start.sh config/zookeeper.properties &
由于ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以打印出来的部分的异常是可以忽略的。集群在选出一个Leader后,最后稳定了。其他结点可能也出现类似问题,属于正常。
三、搭建kafka集群
1.进入config目录,修改server.properties(逐个机器修改)
[align=left] broker.id =1(其他机器为 2/3)[/align]
[align=left] port =9092[/align]
[align=left] zookeeper.connect= 192.168.3.230:2181,192.168.3.233:2181,192.168.3.234:2181[/align]
[align=left] log.dirs =/home/rasa/kafka-logs[/align]
[align=left] host.name =192.168.3.230[/align]
[align=left] advertised.host.name =192.168.3.230[/align]
2.启动每台服务器的kafka:
> bin/kafka-server-start.sh config/server.properties &
四、测试集群
1.创建一个topic
> bin/kafka-topics.sh --create --zookeeper 192.168.3.230:2181 --replication-factor 3 --partitions 1
--topic test-topic
2.查看创建的topic
> bin/kafka-topics.sh --describe --zookeeper 192.168.3.230:2181 --topic test-topic
Topic:test-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: test-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
3.查看topic列表
> bin/kafka-topics.sh --list --zookeeper 192.168.3.230 :2181
test
test-topic
查看列表及具体信息
> bin/kafka-topics.sh --zookeeper localhost --describe
4.查看集群情况:
>bin/kafka-topics.sh --describe --zookeeper 192.168.3.233:2181 --topic test-topic
>bin/kafka-topics.sh --describe --zookeeper 192.168.3.234:2181 --topic test-topic
发现都能看到test-topic。
5.生产消息
> bin/kafka-console-producer.sh --broker-list 192.168.3.234:9092 -topic test-topic
6.消费消息
> bin/kafka-console-consumer.sh --zookeeper 192.168.3.234:2181 --from-beginning --topic test-topic
相关文章推荐
- java,for穷举,99乘法表
- 解读Android之Service(3)AIDL
- 解决Maven工程中报 Missing artifact jdk.tools:jdk.tools:
- iOS数据持久化(-)偏好设置
- postgressql数据库给模式添加search_path
- 慕课网----大话PHP设计模式 二(数据结构的php实现,链式操作,php魔方方法的使用)
- Wiggle Sort II
- 移动端touch事件滚动
- 答:SQLServer DBA 三十问之六:Job信息我们可以通过哪些表获取;系统正在运行的语句可以通过哪些视图获取;如何获取某个T-SQL语句的IO、Time等信息;
- :angularjs学习总结(~~很详细的教程) 很不错的一篇帖子 适合快速了解angularjs整体结构 有个整体印象
- 程序员必定会爱上的十款软件
- CGI,FastCGI,PHP-CGI与PHP-FPM的区别
- 【LeetCode OJ 225】Implement Stack using Queues
- Java Garbage Collection Basics--转载
- Max Sum
- Query数组($.each,$.grep,$.map,$.merge,$.inArray,$.unique,$.makeArray)处理函数详解
- 解读Android之Service(2)Bound Service
- Ios长连接AsyncSocket使用
- MongoDB性能篇之创建索引,组合索引,唯一索引,删除索引和explain执行计划
- 检查服务器各类信息脚本