Kafka安装配置以及使用

本文所安装的Kafka为2.10版本，Zookeeper是3.4.14版本，安装目录为/usr/local/kafka/

• 1.环境

  kafka依赖的环境有Java、zookeeper
  zookeeper可单独安装，也可以直接用kafka自带的

• 2.安装Kafka
  下载Kafka

  wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz

  解压

  tar -zxvf kafka_2.10-0.10.2.1.tgz

  进入到解压好的kafka目录

  cd /usr/local/kafka/kafka_2.10-0.10.2.1/config

  3.配置

  修改配置文件server.properties
  
  
  broker.id=0
  port=9092 #端口号
  host.name=172.30.0.9 #服务器IP地址，修改为自己的服务器IP
  log.dirs=/usr/local/logs/kafka #日志存放路径，上面创建的目录
  zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

  以上内容需要手动添加或者修改，仔细看一遍配置文件，哪些是已存在需要修改的

• 3.启动

  先启动zookeeper，如果使用的是kafka自带的zookeeper，启动命令如下：

  /usr/local/kafka/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/zookeeper.properties &

  注意要填写你自己的目录

  启动kafka

  /usr/local/kafka/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/server.properties &

  注意要填写你自己的目录

• 4.关闭

  关闭zookeeper

  /usr/local/kafka/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/zookeeper.properties &

  关闭kafka

  /usr/local/kafka/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/server.properties &

• 5.对topic的操作
  查看所有topic的列表，在kafka的bin目录下执行

  ./kafka-topics.sh --zookeeper 172.16.185.31:2181 --list

• 查看指定topic信息

  ./kafka-topics.sh --zookeeper 172.16.185.31:2181 --describe --topic nginx-kafka

• 创建topic

  kafka-topics.sh --create --zookeeper 172.16.185.31:2181 --replication-factor 1 --partitions 1 --topic my-kafka-topic

• 列出消费者组

  bin/kafka-consumer-groups.sh --bootstrap-server 172.16.185.31:9092 --list

• 列出消费者组并加入一个新的

  bin/kafka-console-consumer.sh --bootstrap-server 172.16.185.31:9092 --topic test --consumer-property group.id=test_group

• 启动生产者

  ./kafka-console-producer.sh --broker-list 172.16.185.31:9092 --topic nginx-kafka

• 消费者订阅消息

  bin/kafka-console-consumer.sh --bootstrap-server 172.16.185.31:9092 :9092 --topic  nginx-kafka --from-beginning

  kafka的安装还是比较简单的，没有遇到什么错误

• 点赞
• 收藏
• 分享
• 文章举报