Hadoop优化与调整
2015-07-15 17:02
316 查看
【io.file.buffer.size】(core-site.xml)
用来设置缓存的大小,较大的缓存提供更高效的数据传输,但也意味着更大的内存消耗和延迟
默认值为4KB,一般情况下设置为64KB(65536)
【dfs.balance.bandwidthPerSec】
HDFS平衡器检测集群中使用过度或者使用不足的DataNode,并在这些DataNode之间转移数据块来保证负载均衡。该参数定义了每个DataNode平衡操作所允许的最大使用带宽,单位是byte,网络带宽单位一般是bit
【dfs.block.size】
默认值为67108864,即64MB;参考值为134217728(128M)
【dfs.DataNode.du.reserved】
由于mapred.local.dir经常与DataNode共享可用的硬盘资源,因此我们需要为MapReduce任务保留一些硬盘资源。建议每个硬盘都为map任务保留最小10GB的资源,即10737418240.
【dfs.NameNode.handler.count】
NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。默认值为10,一般讲该值设置为集群大小的自然对数乘以20,即20logN。
该值设置过小明显的症状就是DataNode在连接NameNode的时候总是超时或者连接被拒
【dfs.DataNode.failed.volumes.tolerated】
当DataNode的任意一个本地磁盘故障时,默认认定整个DataNode失效。该参数默认值为0,意味着只要有一个磁盘出现故障就会导致整个DataNode 不可用。参考值为1
【dfs.hosts】
通过含有DataNode主机名列表的文件来确认允许连接并加入集群的DataNode
【dfs.host.exclude】
把相关节点排除在HDFS外,可卸载DataNode
【fs.trash.interval】(core-site.xml)
定义.Trash目录下文件被永久删除前保留的时间(分钟数),默认为0,即垃圾回收站功能关闭,参考值为1440(24小时)
用来设置缓存的大小,较大的缓存提供更高效的数据传输,但也意味着更大的内存消耗和延迟
默认值为4KB,一般情况下设置为64KB(65536)
【dfs.balance.bandwidthPerSec】
HDFS平衡器检测集群中使用过度或者使用不足的DataNode,并在这些DataNode之间转移数据块来保证负载均衡。该参数定义了每个DataNode平衡操作所允许的最大使用带宽,单位是byte,网络带宽单位一般是bit
【dfs.block.size】
默认值为67108864,即64MB;参考值为134217728(128M)
【dfs.DataNode.du.reserved】
由于mapred.local.dir经常与DataNode共享可用的硬盘资源,因此我们需要为MapReduce任务保留一些硬盘资源。建议每个硬盘都为map任务保留最小10GB的资源,即10737418240.
【dfs.NameNode.handler.count】
NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。默认值为10,一般讲该值设置为集群大小的自然对数乘以20,即20logN。
该值设置过小明显的症状就是DataNode在连接NameNode的时候总是超时或者连接被拒
【dfs.DataNode.failed.volumes.tolerated】
当DataNode的任意一个本地磁盘故障时,默认认定整个DataNode失效。该参数默认值为0,意味着只要有一个磁盘出现故障就会导致整个DataNode 不可用。参考值为1
【dfs.hosts】
通过含有DataNode主机名列表的文件来确认允许连接并加入集群的DataNode
【dfs.host.exclude】
把相关节点排除在HDFS外,可卸载DataNode
【fs.trash.interval】(core-site.xml)
定义.Trash目录下文件被永久删除前保留的时间(分钟数),默认为0,即垃圾回收站功能关闭,参考值为1440(24小时)
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- MySQL 优化
- 单机版搭建Hadoop环境图文教程详解
- Google排名优化的几个影响因素
- DB2优化(简易版)
- Mysql limit 优化,百万至千万级快速分页 复合索引的引用并应用于轻量级框架
- C#中尾递归的使用、优化及编译器优化
- 优化Ruby脚本效率实例分享
- mysql -参数thread_cache_size优化方法 小结
- 详解mysql的limit经典用法及优化实例
- oracle数据库sql的优化总结
- SQL优化技巧指南
- SQL Server优化50法汇总
- C++快速排序的分析与优化详解
- 手把手教你如何优化C语言程序
- mysql 分页优化解析
- 非常不错的MySQL优化的8条经验
- hadoop常见错误以及处理方法详解