hadoop之 exceeds the limit of concurrent xcievers处理
2018-02-01 11:36
357 查看
dfs.datanode.max.transfer.threads: 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers >
解释:Specifies the maximum number of threads to use for transferring data in and out of the DN.
表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多,而这个参数设置得过低就会有一部分文件处理不过来,就会报异常。
linux系统中所有的文件操作都被绑定到一个socket上,进一步具体可以把他看做是一个线程。而这个参数就是指定这种线程的个数。
在datanode里面有一个专门的线程组来维护这些线程,同时有一个守护线程来监视这个线程组的体量,它负责监测线程数量是否到达上线,
超过就抛出异常,则需调大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。
dfs.datanode.max.transfer.threads 参数设置过小,datanode 异常:
ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
:DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
注意:dfs.datanode.max.transfer.threads 数目不能大于系统打开文件数的设置,即/etc/security/limits.conf中nofile的数值。
解释:Specifies the maximum number of threads to use for transferring data in and out of the DN.
表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多,而这个参数设置得过低就会有一部分文件处理不过来,就会报异常。
linux系统中所有的文件操作都被绑定到一个socket上,进一步具体可以把他看做是一个线程。而这个参数就是指定这种线程的个数。
在datanode里面有一个专门的线程组来维护这些线程,同时有一个守护线程来监视这个线程组的体量,它负责监测线程数量是否到达上线,
超过就抛出异常,则需调大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。
dfs.datanode.max.transfer.threads 参数设置过小,datanode 异常:
ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
:DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
注意:dfs.datanode.max.transfer.threads 数目不能大于系统打开文件数的设置,即/etc/security/limits.conf中nofile的数值。
相关文章推荐
- hadoop之 exceeds the limit of concurrent xcievers处理
- hadoop异常处理之exceeds the limit of concurrent xcievers 256
- hadoop java.io.IOException: Xceiver count 4097 exceeds the limit of concurrent xcievers
- hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
- xceiverCount 258 exceeds the limit of concurrent xcievers 256
- ORA-27092: size of file exceeds file size limit of the process
- exchange2013警告The maximum number of concurrent connections has exceeded a limit
- Sybase的查询Group by 中的 This exceeds the maximum allowable limit of 600解决方案
- Change the value of "Maximum number of concurrent connections" about SQL Server 2012
- Github 修正上传时“this exceeds GitHub’s file size limit of 100 MB”错误
- Is there a limit to the number of columns in an HBase row?
- TCP 粘包问题处理[2] ( the solution of sticky package problem of TCP )
- Attempting to initialize hardware acceleration outside of the main thread 处理
- Configure the max limit for concurrent TCP connections
- 各种图像处理类库的比较及选择(The Comparison of Image Processing Libraries)
- Dynamic MMap ran out of room. Please increase the size of APT::Cache-Limit. Current value: 25165824.
- Github 修正上传时“this exceeds GitHub’s file size limit of 100 MB”错误
- mongodb: "Overflow sort stage buffered data usage of 33557904 bytes exceeds internal limit of 33554"
- APPS:How to view the concurrent request output of other users
- Github 修正上传时“this exceeds GitHub’s file size limit of 100 MB”错误