kafka集群监控工具之 Kafka Offset Monitor

一 下载Kafka Offset Monitor软件
KafkaOffsetMonitor-assembly-0.2.0.jar

二 安装部署
1 准备一个目录kafka_monitor
在该目录下放下面两个文件
监控软件：KafkaOffsetMonitor-assembly-0.2.0.jar
启动脚本：kafak_monitor_start.sh

2 准备启动脚本kafak_monitor_start.sh

[root@master kafka_monitor]# cat kafak_monitor_start.sh
#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk master:2181,slave1:2181,slave2:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 7.days

3 脚本含义解释
首先指明运行Web监控的类，然后需要用到ZooKeeper，所有要填写ZK集群信息，接着是Web运行端口，页面数据刷新的时间以及保留数据的时间值。

三 启动
1 启动zk

zkServer.sh start

2 在master、slave1和slave2节点启动kafka

kafka-server-start.sh /opt/kafka_2.10-0.8.2.1/config/server.properties &

3 master节点创建一个topic，slave1启动生成者，slave2启动消费者
master节点：

[root@master ~]# kafka-topics.sh --create --replication-factor 3 --partition 3 --topic user-behavior-topic1 --zookeeper 192.168.0.110:2181

slave1节点：

[root@slave1 ~]# kafka-console-producer.sh --broker-list 192.168.0.110:9092 --topic user-behavior-topic1

slave2节点：

[root@slave2 ~]# kafka-console-consumer.sh --zookeeper 192.168.0.110:2181 --topic user-behavior-topic1 --from-beginning

3 master节点启动Kafka Offset Monitor

[root@master kafka_monitor]# ./kafak_monitor_start.sh

四 测试
1 截图1



2 截图2



3 截图3



4 截图4



五 测试相关说明
Topic：创建Topic名称
Partition：分区编号
Offset：表示该Parition已经消费了多少Message
LogSize：表示该Partition生产了多少Message
Lag：表示有多少条Message未被消费
Owner：表示消费者
Created：表示该Partition创建时间
Last Seen：表示消费状态刷新最新时间

六 参考
http://www.jikexueyuan.com/course/2238.html
http://blog.csdn.net/whjcsdnwhj/article/details/78080230