Kafka监控之KafkaOffsetMonitor
2018-02-02 14:56
323 查看
KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面,这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道,每个Partition的Message是否消费掉,有木有阻塞等等。
这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据,我们可以通过浏览Web管理的相关模块,清楚的知道最近一段时间的消费情况。
该Web管理平台有以下功能:
对Consumer的消费监控,并列出每个Consumer的Offset数据
保护消费者组列表信息
每个Topic的所有Partition列表包含:Topic、Pid、Offset、LogSize、Lag以及Owner等等
浏览查阅Topic的历史消费信息
安装
KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录,我这里新建一个kafka_monitor文件目录,然后我们在准备启动脚本,脚本内容如下所示:
注意给脚本和jar包赋值执行权限
--zk
zookeeper服务器地址
--port 监控页面访问的端口
--refresh 更新数据库和页面的时间
--retain 保存的时间长短
这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据,我们可以通过浏览Web管理的相关模块,清楚的知道最近一段时间的消费情况。
该Web管理平台有以下功能:
对Consumer的消费监控,并列出每个Consumer的Offset数据
保护消费者组列表信息
每个Topic的所有Partition列表包含:Topic、Pid、Offset、LogSize、Lag以及Owner等等
浏览查阅Topic的历史消费信息
安装
KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录,我这里新建一个kafka_monitor文件目录,然后我们在准备启动脚本,脚本内容如下所示:
#!/usr/bin/sh nohup java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk sichuan1:2181,sichuan2:2181/kafka --port 8001 --refresh 20.seconds --retain 2.days &
注意给脚本和jar包赋值执行权限
--zk
zookeeper服务器地址
--port 监控页面访问的端口
--refresh 更新数据库和页面的时间
--retain 保存的时间长短
相关文章推荐
- kafka集群监控KafkaOffsetMonitor
- KafkaOffsetMonitor监控
- kafka监控-KafkaOffsetMonitor
- Hadoop学习笔记-011-CentOS_6.5_64_HA高可用-Zookeeper3.4.5安装Kafka+消息监控KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- kafka集群监控之KafkaOffsetMonitor 0.4.1版本 以及用sbt编译KafkaOffsetMonitor
- 基于web的kafka监控工具KafkaOffsetMonitor(内部js和css已经本地化)
- kafka集群监控KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- kafka消息监控-KafkaOffsetMonitor
- KafkaOffsetMonitor 监控工具的安装与使用
- kafka集群监控KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- KafkaOffsetMonitor:监控消费者和延迟的队列