关于Hadoop Metrics
2018-01-23 15:33
99 查看
转载自:http://blog.csdn.net/u012948976/article/details/52270132
简介
Metrics的英文含义是“度量”,这里可以理解为“监控指标”。关于Hadoop的Metrics,官网直接给出了总结,初学者很难理解,以下以HDFS为例来说明。打开HDFS Web UI —
http://namenode:50070/dfshealth.html#tab-overview,如下所示,
从该网址我们可以得到整个集群容量(HDFS)的各种信息,实际上上述信息也可以通过请求
http://namenode:50070/jmx全部得到,如下所示。
也可以在请求中加参数获取特定的信息。当然上述是对namenode的请求,对datanode,HBase,Hive的请求也类似,不过host和端口号不同(笔记–Hadoop端口.md),详情见下节。
深入了解
How to monitor Hadoop metrics- Datadog和How to collect Hadoop metrics - Datadog对Hadoop Metrics: 作了全面的总结,非常详细。
通过 JMX 获取Hadoop/HBase监控数据:介绍了使用JMX获取Hadoop/HBase的监控数据。
Enabling
JMX Monitoring for Hadoop And Hive :介绍了使用JMX获取Hadoop和Hive的监控数据。
Hadoop集群监控:jmx信息获取:介绍了jmx请求链接的书写方式。
相关文章推荐
- 关于Hadoop启动一段时间后DataNode消失:WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=DataNode,
- 关于Hadoop Metrics
- hadoop 2 metrics: MBeans -- util class provides a method to register an MBean
- 关于hadoop的安全模式
- 关于 Hadoop 你需要知道的一些事项
- 关于hadoop集成ganglia相关问题
- 关于几种压缩算法以及hadoop和hbase中的压缩配置说明
- 关于org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError
- 关于Hadoop的shuffle
- 关于hadoop的java版本
- Hadoop 2.5.1学习笔记3:关于Combiner
- Hadoop关于处理大量小文件的问题和解决方法
- 【JAVA连接HBase】(一)关于主机无法打开虚拟机上的HADOOP(50070)
- fuse挂载hadoop2.0.0文件系统hdfs到本地(关于libhdfs和fuse-dfs的编译)
- Hadoop中JobControl的用法,关于Job迭代
- 关于Hadoop任务的学习
- hadoop 2.6.0 yarn total memory metrics 不正常
- 关于Hadoop多用户管理支持客户端远程操作的理论总结
- Hadoop学习笔记(五):一些关于HDFS的基本知识
- 关于把hadoop和pg整合成为一个分布式数据库的初步设想