記錄一次hdfs磁盤滿了的非常規操作
研發環境最近壓測一個東西，導了一個月的數據，3備份，對數據進行一些加工后，數據量直接把hdfs壓滿了。
我的天，太恐怖了，和領導請示后，給集群解壓（咱們也沒辦法呀，資源不夠）
怎么解壓呢？首先通過cdh的hdfs的配置選項：將dfs.replication由3改為2
dfs.replication 2
改完重啟了研發集群，理論上這個hdfs會自動把多復制的那個塊刪掉吧？
萬萬沒想到，觀察了半個小時，沒有效果啊
搜了搜萬能的百度：決定手動暴力把hdfs上已經存在的數據改為2備份
#hdfs用戶
hadoop fs -setrep 2 / #全目錄所有文件瞬間都改成2備份，效果杠杠的啊，集群存儲馬上有了空間
思考：通過修改參數應該只會對新進入hdfs的文件會快速產生影響，對於已經存在hdfs上的文件需要多久才能變成2備份呢？
咱們不知道，也不敢問啊。
6台機器存儲有點不均勻：做一個負載均衡美滋滋
#存儲不均勻：手動balance
hdfs用戶
hdfs balancer