HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常
2020-01-15 06:37
1036 查看
生产上部署了HDFS 2.7.4,最近遇到了一些异常,记录下来备忘:
一、dfs.datanode.directoryscan.throttle.limit.ms.per.sec
DataNode运行一段时间后,报如下异常:
ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000
谷歌了一下,发现是一个Bug:
https://issues.apache.org/jira/browse/HDFS-9274
解决方案:
编辑hdfs-site.xml,增加如下配置
<property> <name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec</name> <value>1000</value> </property>
重启HDFS后,问题解决。
二、DataXceiver error processing WRITE_BLOCK operation
DataNode运行一段时间后,报如下异常:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: xxxxxx:50010:DataXceiver error processing WRITE_BLOCK operation src: /aaaaaa:58294 dst: /bbbbbb:50010
谷歌了一下,发现需要修改数据传输线程个数。
解决方案:
编辑hdfs-site.xml,增加如下配置
<property> <name>dfs.datanode.max.transfer.threads</name> <value>8192</value> </property>
重启HDFS后,问题解决。
转载于:https://www.cnblogs.com/liugh/p/9016576.html
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- hdfs-site.xml 参数配置
- hadoop 2.2.X 配置参数说明:hdfs-site.xml
- hdfs-site.xml配置参数详情
- hadoop三个配置文件的参数含义说明core-site.xml、hdfs-site.xml、mapred-site.xml
- hadoop三个配置文件的参数含义说明core-site.xml,hdfs-site.xml,mapred-site.xml
- hdfs-site.xml配置参数详情
- 基于ambari的hdfs-site.xml的分析配置参数
- hadoop三个配置文件的参数含义说明core-site.xml、hdfs-site.xml、mapred-site.xml
- hadoop配置 - Hadoop1.x hdfs-site.xml 参数设定
- Hadoop配置文件参数整理(2)---hdfs-site.xml
- Hadoop配置: core-site.xml hdfs-site.xml mapred-site.xml
- Hadoop配置文件参数整理(4)---yarn-site.xml
- yarn-site.xml相关配置参数列表说明
- Hadoop集群安装 (3) 配置conf/hdfs-site.xml
- 【总结】Hadoop配置文件hdfs-site.xml
- hadoop 2.2.X 配置参数说明:mapred-site.xml
- hadoop配置文件: hdfs-site.xml, mapred-site.xml
- mapred-site.xml参数配置详情
- Hdfs-site.xml配置说明
- hadoop 2.2.X 配置参数说明:hbase-site.xml