kafka0.8.2集群的环境搭建并实现基本的生产消费
2017-07-14 17:29
886 查看
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。
此处采用kafka_2.10-0.8.2.2版本进行安装部署,机器环境为ubuntu1404
启动kafka server:
使用topic命令可以查看当前的topic
相对于此处的手动创建topic,你还可以在brokers上配置当没有topic的时候自动创建topic
编辑这3个配置文件
broker.id
是集群中每个节点的唯一和永久名称,zookeeper已经启动,我们需要开启3个节点
创建一个replication为3 的新topic
如果想要知道哪个broker在做什么事情,需要运行 "describe topics"命令
第一行给出所有partitions的概览,每个附加行给出一个分区的信息,由于我们只有一个分区,所以此处只有一行
“leader”是负责给定分区的所有读写操作的节点,每个节点将成为随机选择的分区部分的引导者。
“replicas” 是复制此分区的日志的节点列表,无论这些节点是否是leader或者是否还存在。
"isr"是一组in-sync"副本,这是副本列表的子集,该列表目前正在生效并被领导者所追踪
此处,node 3是该topic唯一partition的leader
对之前的”test” topic运行同样的命令,结果如下:
显然,”test” topic没有replicas
发送几条数据到新的topic
消费这几条信息:
接下来测试一下容错,Broker 3 作为leader,我们将其kill掉
Leader切换到了之前的某一个slave,node 3 不再处于同步复制集
但是消息依然可以被消费,即使之前负责写的leader已经挂了
参考:http://kafka.apache.org/082/documentation.html#quickstart
此处采用kafka_2.10-0.8.2.2版本进行安装部署,机器环境为ubuntu1404
1、下载kafka安装包并解压
此处解压到/usr/local目录下> tar -zxvf kafka_2.10-0.8.2.2.tgz -C /usr/local/ > cd /usr/local/kafka_2.10-0.8.2.2/
2、开启kafka服务
Kafka依赖zookeeper,所以首先要开启zookeeper,如果机器没有安装zookeeper,可以使用kafka安装包内的自带的脚本来启动一个单节点的zookeeper> bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka server:
> bin/kafka-server-start.sh config/server.properties
3、创建topic
创建一个名为”test”的topic,只有一个partition和一个replica> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
使用topic命令可以查看当前的topic
> bin/kafka-topics.sh --list --zookeeper localhost:2181
相对于此处的手动创建topic,你还可以在brokers上配置当没有topic的时候自动创建topic
4、发送消息
Kafka自带一个命令行客户端,它从文件或标准输入中获取输入,并将其作为消息发送到kafka集群,默认每行作为单独的消息发送> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message This is another message
5、开启consumer
Kafka还有一个命令行consumer,可以把消息转储到标准输出。> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning This is a message This is another message
6、设置multi-broker集群
对kafka来说,单个broker只是一个大小为1的集群,现在把集群增加到3个(仍然在单台机器上实现)> cp config/server.properties config/server-1.properties > cp config/server.properties config/server-2.properties > cp config/server.properties config/server-3.properties
编辑这3个配置文件
config/server-1.properties: broker.id=1 port=9093 log.dir=/tmp/kafka-logs-1 config/server-2.properties: broker.id=2 port=9094 log.dir=/tmp/kafka-logs-2 config/server-3.properties: broker.id=3 port=9095 log.dir=/tmp/kafka-logs-3
broker.id
是集群中每个节点的唯一和永久名称,zookeeper已经启动,我们需要开启3个节点
> bin/kafka-server-start.sh config/server-1.properties & ... > bin/kafka-server-start.sh config/server-2.properties & ... > bin/kafka-server-start.sh config/server-3.properties & ...
创建一个replication为3 的新topic
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
如果想要知道哪个broker在做什么事情,需要运行 "describe topics"命令
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicated-topic Partition: 0 Leader: 3 Replicas: 3,0,1 Isr: 3,0,1
第一行给出所有partitions的概览,每个附加行给出一个分区的信息,由于我们只有一个分区,所以此处只有一行
“leader”是负责给定分区的所有读写操作的节点,每个节点将成为随机选择的分区部分的引导者。
“replicas” 是复制此分区的日志的节点列表,无论这些节点是否是leader或者是否还存在。
"isr"是一组in-sync"副本,这是副本列表的子集,该列表目前正在生效并被领导者所追踪
此处,node 3是该topic唯一partition的leader
对之前的”test” topic运行同样的命令,结果如下:
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test Topic:test PartitionCount:1 ReplicationFactor:1 Configs: Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
显然,”test” topic没有replicas
发送几条数据到新的topic
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic ... my new message 1 my new message 2
消费这几条信息:
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic ... my new message 1 my new message 2
接下来测试一下容错,Broker 3 作为leader,我们将其kill掉
> ps -ef | grep server-3.properties root 8322 6862 1 16:21 pts/19 00:00:35 /usr/lib/jvm/java-8-oracle/bin/java -Xmx1G -Xms1G –server…………………. > kill -9 8322
Leader切换到了之前的某一个slave,node 3 不再处于同步复制集
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicated-topic Partition: 0 Leader: 0 Replicas: 3,0,1 Isr: 0,1
但是消息依然可以被消费,即使之前负责写的leader已经挂了
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic ... My new test message 1 my new test message 2
参考:http://kafka.apache.org/082/documentation.html#quickstart
相关文章推荐
- 搭建Kafka集群环境
- struts2入门教程一(环境搭建,基本案例实现)
- window环境搭建zookeeper,kafka集群
- Docker下的Kafka学习之二:搭建集群环境
- kafka集群环境搭建(Linux)
- hadoop2.6.4完全分布式集群安装(一)实现基本集群环境
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十二)Spark Streaming接收流数据及使用窗口函数
- Hadoop 2.5.1 虚拟集群搭建——基本环境准备
- window环境搭建zookeeper,kafka集群
- Linux qtcreator下kafka之librdkafka库的C语言封装,实现生产和消费
- linux搭建hadoop环境时,实现linux集群间免密钥登陆
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十四)Structured Streaming:Encoder
- kafka集群环境搭建
- redis集群环境搭建以及java中jedis客户端集群代码实现 博客分类: redis
- kafka的环境搭建和基本命令
- redis集群环境搭建以及java中jedis客户端集群代码实现
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十五)Structured Streaming:同一个topic中包含一组数据的多个部分,按照key它们拼接为一条记录(以及遇到的问题)。
- Redis3.2+Tomcat实现集群的Session管理 -- tomcat-redis-session-manager的编译和开发部署环境搭建
- 【Linux】ubuntu下kafka集群环境搭建,kafka命令