CDH版HDFS Block Balancer方法


命令:
sudo -u hdfs hdfs balancer

默认会检查每个datanode的磁盘使用情况,对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。


指定阀值,该阀值是datanode节点的磁盘使用占整个集群的百分比。
sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block

设置均衡的带宽, 默认设置:1048576(1 M/S)
参数含义:设置balance工具在运行中所能占用的带宽,设置的过大可能会造成mapred运行缓慢

sudo -u hdfs hdfs dfsadmin  -set Balancer Bandwidth   104857600 #表示设置带宽可使用100Mb









免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM