Kafka具体解释二、怎样配置Kafka集群
2017-04-25 15:05
10 查看
Kafka集群配置比較简单,为了更好的让大家理解。在这里要分别介绍以下三种配置
# The port listening for client request
clientPort=2181 默认情况下,zookeeperserver会监听 2181port。更具体的信息可去zookeeper官网查阅。
# 存放log的文件夹
log.dir=/tmp/kafka8-logs
# Zookeeper 连接串
zookeeper.connect=localhost:2181
和消费者相关的属性配置存放在Consumer.properties文件里,重要的属性有: # consumer的group id (A string that uniquely identifies a set of consumers # within the same consumer group) groupid=test-consumer-group
# zookeeper 连接串
zookeeper.connect=localhost:2181
server-2
port=9093 log.dir=/temp/kafka8-logs/broker2
然后我们再用这两个配置文件分别启动一个broker
[root@localhost kafka-0.8]# env JMX_PORT=9999 bin/kafka-server-start.sh config/server-1.properties
[root@localhost kafka-0.8]# env JMX_PORT=10000 bin/kafka-server-start.sh config/server-2.properties 能够看到我们启动是为每一个broker都指定了不同的JMX Port,JMX Port主要用来利用jconsole等工具进行监控和排错
zookeeper.connect=node1:2181,node2:2181
想更深入的了解Kafka请參阅我的还有一篇文章:《Kafka设计与原理具体解释》
- 单节点:一个broker的集群
- 单节点:多个broker的集群
- 多节点:多broker集群
一、单节点单broker实例的配置
1. 首先启动zookeeper服务
Kafka本身提供了启动zookeeper的脚本(在kafka/bin/文件夹下)和zookeeper配置文件(在kafka/config/文件夹下)。首先进入Kafka的主文件夹(可通过 whereis kafka命令查找到): [root@localhost kafka-0.8]# bin/zookeeper-server-start.sh config/zookeeper.properties zookeeper配置文件的一些重要属性: # Data directory where the zookeeper snapshot is stored. dataDir=/tmp/zookeeper# The port listening for client request
clientPort=2181 默认情况下,zookeeperserver会监听 2181port。更具体的信息可去zookeeper官网查阅。
2. 启动Kafka broker
执行kafka提供的启动kafka服务脚本就可以: [root@localhost kafka-0.8]# bin/kafka-server-start.sh config/server.properties broker配置文件里的重要属性: # broker的id. 每一个broker的id必须是唯一的. Broker.id=0# 存放log的文件夹
log.dir=/tmp/kafka8-logs
# Zookeeper 连接串
zookeeper.connect=localhost:2181
3. 创建一个仅有一个Partition的topic
[root@localhost kafka-0.8]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic kafkatopic4. 用Kafka提供的生产者client启动一个生产者进程来发送消息
[root@localhost kafka-0.8]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic 当中有两个參数须要注意:- broker-list:定义了生产者要推送消息的broker地址,以<IP地址:port>形式
- topic:生产者发送给哪个topic
5. 启动一个Consumer实例来消费消息
[root@localhost kafka-0.8]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning 当你运行这个命令之后。你便能够看到控制台上打印出的生产者生产的消息:和消费者相关的属性配置存放在Consumer.properties文件里,重要的属性有: # consumer的group id (A string that uniquely identifies a set of consumers # within the same consumer group) groupid=test-consumer-group
# zookeeper 连接串
zookeeper.connect=localhost:2181
二、单节点执行多broker实例
1.启动zookeeper
和上面的一样2.启动Kafka的broker
要想在一台机器上启动多个broker实例,仅仅须要准备多个server.properties文件就可以,比方我们要在一台机器上启动两个broker: 首先我们要准备两个server.properties配置文件- server-1 brokerid=1
- port=9092
- log.dir=/temp/kafka8-logs/broker1
-
brokerid=2
[root@localhost kafka-0.8]# env JMX_PORT=10000 bin/kafka-server-start.sh config/server-2.properties 能够看到我们启动是为每一个broker都指定了不同的JMX Port,JMX Port主要用来利用jconsole等工具进行监控和排错
3.创建一个topic
如今我们要创建一个含有两个Partition分区和2个备份的broker: [root@localhost kafka-0.8]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 2 --partition 2 --topic othertopic4.启动Producer发送消息
假设我们要用一个Producer发送给多个broker,唯一须要改变的就是在broker-list属性中指定要连接的broker: [root@localhost kafka-0.8]# bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093 --topic othertopic 假设我们要让不同的Producer发送给不同的broker。我们也只须要为每一个Producer配置响应的broker-list属性就可以。5.启动一个消费者来消费消息
和之前的命令一样 [root@localhost kafka-0.8]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic othertopic --from-beginning三、集群模式(多节点多实例)
介绍了上面两种配置方法,再理解集群配置就简单了。比方我们要配置例如以下图所看到的集群: zookeeper配置文件(zookeeper.properties):不变 broker的配置配置文件(server.properties):依照单节点多实例配置方法在一个节点上启动两个实例。不同的地方是zookeeper的连接串须要把全部节点的zookeeper都连接起来 # Zookeeper 连接串zookeeper.connect=node1:2181,node2:2181
想更深入的了解Kafka请參阅我的还有一篇文章:《Kafka设计与原理具体解释》
相关文章推荐
- tomcat配置文件server.xml具体解释
- Kafka详解二、如何配置Kafka集群
- 【Web.xml配置具体解释之context-param 】
- Kafka集群配置
- kafka集群安装、配置
- liferay是怎样配置到哪个具体tomcat服务器上的
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- FastDFS安装、配置、部署(三)-Storage配置具体解释
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- tomcat配置文件server.xml具体解释
- log4j.propertie配置具体解释
- win7配置免安装mysql5.6.19过程具体解释
- 安装配置kafka集群
- Web.xml配置具体解释之context-param
- tomcat配置文件server.xml具体解释
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
- 一个简单http集群keepalived实例配置,系统参数优化及解释
- kafka解释三的具体:发展Kafka应用
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建