KafkaOffsetMonitor监控
2016-12-27 19:55
260 查看
介绍
KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面,这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道,每个Partition的Message是否消费掉,有木有阻塞等等。 这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据,我们可以通过浏览Web管理的相关模块,清楚的知道最近一段时间的消费情况。 该Web管理平台有以下功能: 1.对Consumer的消费监控,并列出每个Consumer的Offset数据 2.保护消费者组列表信息 3.每个Topic的所有Partition列表包含:Topic、Pid、Offset、LogSize、Lag以及Owner等等 4.浏览查阅Topic的历史消费信息下载
GitHub上面有源码的jar包,放到对应的目录就可以了,由于我们使用新版本的kafka,所以也要使用最新的代码,在kafka中国社区可以下载最新的0.3的版本。地址:http://pan.baidu.com/s/1kUZJrCV安装部署
KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录,我这里新建一个kafka_monitor文件目录,然后我们在准备启动脚本脚本内容如下所示:java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --zk localhost:2181 --port 7070 --refresh 10.seconds --retain 2.days启动方式2,创建脚本,因为您可能不是一个kafka集群。用脚本可以启动多个。
nohup java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m-cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb--offsetStorage kafka--zk 127.0.0.1:2181--port 8080--refresh 10.seconds--retain 2.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &各个参数的含义:offsetStorage:有效的选项是"zookeeper","kafka","storm"。0.9版本以后,offset存储的位置在kafka。zk: zookeeper的地址prot 端口号refresh 刷新频率,更新到DB。retain 保留DB的时间dbName 在哪里存储记录(默认'offsetapp')
启动
步骤1:启动ZK(集群配置依次启动)步骤2:启动Kafka服务(详情见kakfa环境搭建文档)步骤3:启动Web监控服务(按照安装部署脚本执行)运行
消费组列表
消费组Topic列表
topic的历史位置
Offset存储位置
kafka能灵活地管理offset,可以选择任意存储和格式来保存offset。KafkaOffsetMonitor目前支持以下流行的存储格式。kafka0.8版本以前,offset默认存储在zookeeper中(基于Zookeeper)kafka0.9版本以后,offset默认存储在内部的topic中(基于Kafka内部的topic)Storm Kafka Spout(默认情况下基于Zookeeper) KafkaOffsetMonitor每个运行的实例只能支持单一类型的存储格式。相关文章推荐
- kafka集群监控KafkaOffsetMonitor
- kafka集群监控之KafkaOffsetMonitor 0.4.1版本 以及用sbt编译KafkaOffsetMonitor
- kafka Web监控 KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- KafkaOffsetMonitor监控工具的安装与使用
- 大数据系列之kafka监控kafkaoffsetmonitor安装
- 基于web的kafka监控工具KafkaOffsetMonitor(内部js和css已经本地化)
- Kafka监控之KafkaOffsetMonitor
- 加米谷:Kafka OffsetMonitor:监控消费者和延迟的队列
- kafka集群监控KafkaOffsetMonitor
- KafkaOffsetMonitor:监控消费者和延迟的队列
- Kafka监控软件之kafkaoffsetmonitor
- kafka集群监控KafkaOffsetMonitor
- Kafka组件研究<五>---- Kafka监控-KafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- 大数据系列之kafka监控kafkaoffsetmonitor安装
- Kafka监控--KafkaOffsetMonitor安装部署
- 加米谷:Kafka OffsetMonitor:监控消费者和延迟的队列
- Kafka监控工具KafkaOffsetMonitor