Kafka 消息监控 - Kafka Eagle
2016-09-01 13:15
232 查看
1.概述
在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作。随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情。 监控系统业界有很多杰出的开源监控系统。我们在早期,有使用 KafkaMonitor 和 Kafka Manager 等,不过随着业务的快速发展,以及互联网公司特有的一些需求,现有的开源的监控系统在性能、扩展性、和 DEVS 的使用效率方面,已经无法满足了。 因此,我们在过去的时间里,从互联网公司的一些需求出发,从各位 DEVS 的使用经验和反馈出发,结合业界的一些开源的 Kafka 消息监控,用监控的一些思考出发,设计开发了现在 Kafka 集群消息监控系统:Kafka Eagle。Kafka Eagle 用于监控 Kafka 集群中 Topic 被消费的情况。包含 Lag 的产生,Offset 的变动,Partition 的分布,Owner ,Topic 被创建的时间和修改的时间等信息。下载地址如下所示:
[Kafka Eagle 下载地址]
[Kafka Eagle Github]
2.内容
Kafka Eagle 涉及以下内容模块:Dashboard
Topic(Create & List)
Consumers
Cluster Info
2.1 Dashboard
我们通过在浏览器中输入 http://host:port/ke,访问 Kafka Eagle 的 Dashboard 页面。该页面包含以下内容:Brokers
Topics
Zookeepers
Consumers
Kafka Brokers Graph
展示 Kafka 集群的 Topic 数量,消费者数量,Kafka 的 Brokers 数,以及所属的 Zookeeper 集群信息。Dashboard 信息展示截图如下:
2.2 Topic
在 Topic 模块下,包含创建 Topic 和展示 Topic 信息详情。2.2.1 Create
通过创建模块可以创建一个自定义分区和备份数的 Topic。如下图所示:2.2.2 List
该模块下列出 Kafka 集群中所有的 Topic,包含 Topic 的分区数,创建时间以及修改时间,如下图所示:上图中,每一个 Topic 名称对应一个详情的超链接,通过该链接可以查看该 Topic 的详情,如:分区索引号,Leader,Replicas 和 Isr,如下图所示所示:
2.3 Consumers
该模块显示有消费记录的 Topic 信息,其中包含如下内容:Running
Pending
Active Topic Graph
Offsets Rate Graph
2.4 Cluster Info
该模块显示 Kafka 集群信息和 Zookeeper 集群信息,包含如下内容:Kafka Broker Host & IP
Kafka Broker Created & Modify Date
Zookeeper Host & IP
3.数据采集
Kafka Eagel 监控的消息数据源,来自于 Zookeeper。由于创建,修改或是消费 Kafka 的消息,都会在 Zookeeper 中进行注册,我们可以从中获取数据的变动,例如:Topic,Brokers,Partitions 以及 Group 等,Kafka 在 Zookeeper 的结构存储,如下图所示:4.总结
Kafka Eagle 的安装使用很简单,下载安装,配置好 Kafka 集群所属的 Zookeeper 集群地址即可,安装部署文档地址如下:Kafka Eagle 使用文档
5.结束语
这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!相关文章推荐
- Kafka 消息监控 - Kafka Eagle
- Kafka 消息监控 - Kafka Eagle
- Kafka 集群消息监控系统:Kafka Eagle
- Kafka 消息监控 - Kafka Eagle
- 基于kafka interceptor监控kafka client消息延迟、数量
- Kafka深入 - Kafka Eagle, 消息监控
- kafka消息监控-KafkaOffsetMonitor
- KafkaOffsetMonitor 监控异常处理(消息堆积)
- Hadoop学习笔记-011-CentOS_6.5_64_HA高可用-Zookeeper3.4.5安装Kafka+消息监控KafkaOffsetMonitor
- 消息中间件ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、Kafka如何选型?
- Golang 处理Kafka消息
- 分布式消息系统:Kafka
- java版kafka消费者取不到消息
- CL过程监控JOB的错误消息
- Kafka监控
- SpringBoot ——kafka消费多个不同服务器地址消息解决方案
- 发布&订阅的消息系统 Kafka的深度解析
- 分布式消息队列kafka系列介绍 — 配置文件详解
- kafka系列3-分布式消息系统
- 7、kafka监控-kafkaOffsetMonitor