Hadoop2动态调整Log级别-以datanode的heartbeat log为例
2016-08-17 18:09
393 查看
在Hadoop中,有些log信息在正常情况下是不打印出来的。比如datanode发送heartbeat的日志。
代码位于BPServiceActor#sendHeartBeat方法中,如下图:
由于默认心跳间隔时间为3s,默认打印该日志的话,日志文件会很大。
这个参数需要传入是get日志级别,还是set日志级别。
需要指定访问的host和port
需要指定修改日志级别的类
如果是set日志级别,需要指定希望设置的Log级别
所有想要动态调整的,都需要访问该进程的http-address。
再比如,如果需要调整namenode的日志级别,那么需要访问端口号
2、设置datanode日志级别
1、INFO级别日志
2、DEBUG级别日志
从下图中可以看出,调整为DEBUG后,log中显示了最前面源码中的日志语句。
代码位于BPServiceActor#sendHeartBeat方法中,如下图:
由于默认心跳间隔时间为3s,默认打印该日志的话,日志文件会很大。
一、使用命令
可以使用命令hadoop daemonlog来获取和修改指定类的Log级别。
[hadoop@hadoop001 logs]$ hadoop daemonlog Usage: General options are: [-getlevel <host:httpPort> <name>] [-setlevel <host:httpPort> <name> <level>]
这个参数需要传入是get日志级别,还是set日志级别。
需要指定访问的host和port
需要指定修改日志级别的类
如果是set日志级别,需要指定希望设置的Log级别
二、端口号
查看datanode进程可以通过http访问的端口号参数 | 默认值 | 作用 |
---|---|---|
dfs.datanode.http.address | 0.0.0.0:50075 | The datanode http server address and port. |
再比如,如果需要调整namenode的日志级别,那么需要访问端口号
参数 | 默认值 | 作用 |
---|---|---|
dfs.namenode.http-address | 0.0.0.0:50070 | The address and the base port where the dfs namenode web ui will listen on. |
三、操作
1、获取datanode日志级别hadoop daemonlog -getlevel hadoop001:50075 org.apache.hadoop.hdfs.server.datanode.DataNode Connecting to http://hadoop001:50075/logLevel?log=org.apache.hadoop.hdfs.server.datanode.DataNode Submitted Log Name: org.apache.hadoop.hdfs.server.datanode.DataNode Log Class: org.apache.commons.logging.impl.Log4JLogger Effective level: INFO
2、设置datanode日志级别
[hadoop@hadoop001 logs]$ hadoop daemonlog -setlevel hadoop001:50075 org.apache.hadoop.hdfs.server.datanode.DataNode DEBUG Connecting to http://hadoop001:50075/logLevel?log=org.apache.hadoop.hdfs.server.datanode.DataNode&level=DEBUG Submitted Log Name: org.apache.hadoop.hdfs.server.datanode.DataNode Log Class: org.apache.commons.logging.impl.Log4JLogger Submitted Level: DEBUG Setting Level to DEBUG ... Effective level: DEBUG
四、查看日志
修改datanode进程的日志级别后,查看日志。1、INFO级别日志
2、DEBUG级别日志
从下图中可以看出,调整为DEBUG后,log中显示了最前面源码中的日志语句。
相关文章推荐
- Hadoop2动态调整Log级别-以datanode的heartbeat log为例
- Hadoop动态调整日志级别
- hadoop集群中动态增加新的DataNode节点
- Hadoop动态添加删除datanode及tasktracker
- hadoop2.8.0重启datanode和动态加入datanode
- Hadoop2.2.0动态添加,删除datanode,tasktracker
- [Nutch]Hadoop动态增加DataNode节点和TaskTracker节点
- Hadoop 2.6.3动态增加/删除DataNode节点
- Hadoop集群动态添加datanode节点步骤
- 调整hadoop 集群datanode 物理内容大小
- Hadoop 2.6.3动态增加/删除DataNode节点
- Hadoop动态调整日志级别
- Hadoop 2.X 动态添加 datanode(详细图文)
- Hadoop动态添加删除datanode及tasktracker
- hadoop 动态添加节点datanode及tasktracker
- Hadoop动态加入/删除节点(datanode和tacktracker)
- hadoop动态增加 datanode和tasktracker的方法
- Hadoop之——Hadoop 2.6.3动态增加/删除DataNode节点
- hadoop集群中动态添加新的DataNode节点
- C/C++程序中通过发送信号动态调整log级别