您的位置:首页 > 其它

分布式消息队列Kafka 之 kafka简单部署及使用

2018-01-24 21:42 633 查看
*刚开始看这一块,肯定会有错误出现,如有发现还希望指出,不喜勿喷!!


<pre>

部署过程(假设已经安装了zookeeper和kafka)

先添加路径配置环境变量
再进行配置kafka文件server.properties(这些所有的命令和配置都在官网上有明确说明,copy下来改改特殊的变量就ok了)

注意:生么时候用2181端口,什么时候用909x端口

在路径$KAFKA/config/server.properties中有几个变量(如果是单broker的话可暂且不动)
broker.id = 0
llisteners = PLAINTEXT://:9092
host.name = locahost
zookeeper.connect = locahost:2181 #zookeeper的地址

启动zookeeper
zookeeper-server-start.sh $ZK_HOMEconfig/zookeeper.properties
#启动zookeeper的server(注意zookeeper.properties的路径)

启动kafka
加上server.properties的路径(以前台的方式启动kafka)
kafka-server-start.sh $KAFKA_HOME/config/server.properties
(因为加上了-daemon所以是后台方式启动,.下面是启动了三个broker,在三个不同的server.properties中)
(在启动前别忘了要配置其中的
broker.id = 0(给broker编辑不同的编号,必须的)
listeners = PLAINTEXT://:9092(端口不能相同)
host.name = locahost)

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &

创建topic
kafka-topics.sh --create --zookeeper locahost:2181
--replication-factor 1 (副本的个数,如果是多个broker的话就按数量改就行了)
--partitions 1
--topic test(topic的名字,随便起一个就ok 了)

查看所有topic
kafka-topics.sh --list --zookeeper locahost:2181

启动producer,发送消息(即生产消息)指定broker
(单broker)
kafka-console-producer.sh --broker-list locahost:9092 --topic test
(多broker,注意下面的端口号的不同)
kafka-console-producer.sh --broker-list locahost:9093,locahost:9094,locahost:9095 --topic test2

启动consumer,消费消息(单broker) zookeeper的地址
kafka-console-consumer.sh --zookeeper locahost:2181 --topic test --from-beginning
(--from-beginning的使用,如果带这个参数就从开始消费,否则从上一次消费点开始 )

打开所有预备工作之后就可以在producer控制台出输入信息,在 consumer控制台出便能接收到信息

查看所有topic的详细信息
kafka-topics.sh --describe --zookeeper locahost:2181

查看指定topic的详细信息
kafka-topics.sh --describe --zookeeper locahost:2181 --topic test

</pre>

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: