apache kafka系列之-监控指标
2016-01-09 10:42
246 查看
原文地址:http://blog.csdn.net/lizhitao/article/details/24581907
Disk IO
Memory
磁盘log.dirs目录下数据文件大小,要有定时清除策略
2.2 JVM监控主要监控J***A的 GC time(垃圾回收时间),J***A的垃圾回收机制对性能的影响比较明显2.3 Kafka系统监控1、Kafka总体监控zookeeper上/XXX/broker/ids目录下节点数量
leader 选举频率
2、Kafka Broker监控kafka集群中Broker列表,broker运行状况,包括node下线,活跃数量
Broker是否提供服务
数据流量 流入速度,流出速度 (message / byte)
ISR 收缩频率
3、Kafka Controller监控controller存活数目
4、Kafka Producer监控producer数量,排队情况
请求响应时间
QPS/分钟
5、Kafka Consumer监控consumer队列中排队请求数
请求响应时间
最近一分钟平均每秒请求数
6、Topic监控数据量大小;
offset
数据流量 流入速度,流出速度 (message / byte)
3.监控指标
3.2 kafka系统监控监控数据获取方式1、生存节点信息可以从zookeeper获取2、除生存节点 和 a、Broker是否提供服务。b、Topic数据量大小,c、Topic的offset 外,其他数据都可以通过JMX获取
1、监控目标
1.当系统可能或处于亚健康状态时及时提醒,预防故障发生
2.报警提示 a.短信方式 b.邮件
2、监控内容
2.1 机器监控Kafka服务器指标CPU LoadDisk IO
Memory
磁盘log.dirs目录下数据文件大小,要有定时清除策略
2.2 JVM监控主要监控J***A的 GC time(垃圾回收时间),J***A的垃圾回收机制对性能的影响比较明显2.3 Kafka系统监控1、Kafka总体监控zookeeper上/XXX/broker/ids目录下节点数量
leader 选举频率
2、Kafka Broker监控kafka集群中Broker列表,broker运行状况,包括node下线,活跃数量
Broker是否提供服务
数据流量 流入速度,流出速度 (message / byte)
ISR 收缩频率
3、Kafka Controller监控controller存活数目
4、Kafka Producer监控producer数量,排队情况
请求响应时间
QPS/分钟
5、Kafka Consumer监控consumer队列中排队请求数
请求响应时间
最近一分钟平均每秒请求数
6、Topic监控数据量大小;
offset
数据流量 流入速度,流出速度 (message / byte)
3.监控指标
3.1 JVM监控
a.通过JMX获取GC time
b.jvm full gc次数
c.通过jmx监控kafka相关参数3.2 kafka系统监控监控数据获取方式1、生存节点信息可以从zookeeper获取2、除生存节点 和 a、Broker是否提供服务。b、Topic数据量大小,c、Topic的offset 外,其他数据都可以通过JMX获取
相关文章推荐
- 【转载】apache kafka系列之-监控指标
- Mac下启动Apache
- Apache的htaccess文件出现500错误的原因
- Centos6.6安装apache2.4
- Web压力测试 ApacheBench(ab)
- (转)Apache启动过程
- apache服务器全局配置详解
- apache 的工作模式 - (work模式)
- 阿里云部署django Ubuntu 12.04.5 + Apache2.2 + django1.8
- Linux环境下apache性能测试工具ab使用详解
- php7 编译安装 apache
- java.lang.NullPointerException org.apache.struts2.impl.StrutsActionProxy.getErrorMessage(StrutsActionProxy.java:69)
- apache commons常用工具类
- Mac 自带 apache
- win10不能启动apache该怎么解决?
- Apache 转发端口
- apache 的工作模式
- Mac升级到EI capitan重新设置Apache和php
- Apache Kafka 教程笔记
- 安装Apache提示APR not found的解决办法