hdfs 3备份 2备份


记录一次hdfs磁盘满了的非常规操作

研发环境最近压测一个东西,导了一个月的数据,3备份,对数据进行一些加工后,数据量直接把hdfs压满了。

 

我的天,太恐怖了,和领导请示后,给集群解压(咱们也没办法呀,资源不够)

怎么解压呢?首先通过cdh的hdfs的配置选项:将dfs.replication由3改为2

dfs.replication
2

改完重启了研发集群,理论上这个hdfs会自动把多复制的那个块删掉吧?

万万没想到,观察了半个小时,没有效果啊

搜了搜万能的百度:决定手动暴力把hdfs上已经存在的数据改为2备份

#hdfs用户
hadoop fs -setrep 2 / #全目录所有文件瞬间都改成2备份,效果杠杠的啊,集群存储马上有了空间

 

 思考:通过修改参数应该只会对新进入hdfs的文件会快速产生影响,对于已经存在hdfs上的文件需要多久才能变成2备份呢?

 

咱们不知道,也不敢问啊。

 

6台机器存储有点不均匀:做一个负载均衡美滋滋 

#存储不均匀:手动balance

hdfs用户

hdfs balancer

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM