CDH版HDFS Block Balancer方法
2016-02-16 10:29
567 查看
命令：sudo -u hdfs hdfs balancer
默认会检查每个datanode的磁盘使用情况，对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。
指定阀值，该阀值是datanode节点的磁盘使用占整个集群的百分比。sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block
设置均衡的带宽，默认设置：1048576（1 M/S）参数含义：设置balance工具在运行中所能占用的带宽，设置的过大可能会造成mapred运行缓慢
sudo -u hdfs hdfs dfsadmin -setBalancerBandwidth 104857600 #表示设置带宽可使用100Mb
来自为知笔记(Wiz)
默认会检查每个datanode的磁盘使用情况，对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。
指定阀值，该阀值是datanode节点的磁盘使用占整个集群的百分比。sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block
设置均衡的带宽，默认设置：1048576（1 M/S）参数含义：设置balance工具在运行中所能占用的带宽，设置的过大可能会造成mapred运行缓慢
sudo -u hdfs hdfs dfsadmin -setBalancerBandwidth 104857600 #表示设置带宽可使用100Mb
来自为知笔记(Wiz)
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 【HDFS API基本使用】
- Kafka+Storm+HDFS整合实践
- hdfs-balancer均衡器使用
- HDFS文档概述
- HDFS
- HDFS详细讲解
- hadoop问题小记
- HDFS邻近信息块BlockInfoContiguous
- 探寻从HDFS到Spark的高效数据通道：以小文件输入为案例
- HDFS的读写流程
- HDFS中的文件访问权限
- Hadoop 统计一个目录的文件大小
- Spark和Hadoop的区别
- hdfs完全分布式搭建
- HDFS和本地文件系统的关系
- 2-6HDFS读取数据的过程+下一篇类加载器（未完）
- Hdfs的rename问题
- Kafka+Storm+HDFS整合实践
- 在Redhat AS6上搭建Hadoop集群总结
- 问题记录：[Ambari]