ganglia之gmetad响应慢及数据延迟的控制和缓解(hadoop相关监控)
2013-11-26 09:37
197 查看
hadoop 相关监控,通常在几百个监控指标,在ganglia上进行监控的话,建议Master和Slave分开收集,最好使用两套ganglia来监控。
对于一个ganglia的gmetad,每个节点的监控指标不要超过200个。ganglia处理1000-2000个指标已经可以了。再多,就会出现响应延时,CPU占用太高。
最近用ganglia监控hadoop的调度系统(corona ,后续会使用yarn),本来ganglia系统正常,但是压力测试中增加了上万个调度的pool;
每个pool都会形成一个指标,结果发现gmetad的cpu占用平均10%,很多节点的数据几分钟没有更新。排查好长时间才发现是这个配置引起的。
对于一个ganglia的gmetad,每个节点的监控指标不要超过200个。ganglia处理1000-2000个指标已经可以了。再多,就会出现响应延时,CPU占用太高。
最近用ganglia监控hadoop的调度系统(corona ,后续会使用yarn),本来ganglia系统正常,但是压力测试中增加了上万个调度的pool;
每个pool都会形成一个指标,结果发现gmetad的cpu占用平均10%,很多节点的数据几分钟没有更新。排查好长时间才发现是这个配置引起的。
相关文章推荐
- ganglia监控hadoop2没有yarn相关的指标参数
- ganglia监控hadoop相关配置及监控指标说明
- hadoop集群监控工具--ganglia的搭建(YUM的方式)
- Ganglia监控Hadoop集群的安装部署
- 用ganglia监控hadoop
- ganglia安装和配置监控hadoop,hbase,spark
- wang-----Ganglia监控Hadoop及Hbase集群性能(安装配置)
- ganglia监控hadoop各项指标含义
- hadoop监控之Ganglia、Nagios的一些总结
- Ganglia监控hadoop、hbase集群
- Ganglia监控Hadoop及Hbase集群性能(安装配置)
- 第十二章 Ganglia监控Hadoop及Hbase集群性能(安装配置)
- centos集群上安装ganglia-3.6.0监控hadoop-2.2.0和hbase-0.96.0
- 使用Ganglia监控Hadoop
- 使用ganglia 实现监控 hadoop 和 hbase(详细过程总结)
- CentOS下安装与配置Ganglia监控Hadoop集群及HBase
- 使用ganglia监控hadoop及hbase集群 分类: B3_LINUX 2015-03-06 20:53 646人阅读 评论(0) 收藏
- 使用ganglia监控hadoop及hbase集群
- Ganglia监控Hadoop与HBase集群
- 第133讲:Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记