Hadoop節點遷移


增刪節點 數據遷移
 
 
一、所有事情開始之前,先要備份好cloudera manager的數據庫,以及hadoop集群中的一些組件帶的數據庫。這里保存了很多元數據,像hive這種丟了很麻煩的。
 
二、如果需要換nameNode的存儲目錄
1、備份nameNode原始數據
 
cp -r /ddhome/dfs/nn /ddhomebak/
 
#Hive Metastore NameNodes #未找到該命令(刷新hive的hdfs設置)
 
重啟后,如果有數據問題,則會hdfs會進入安全模式。可以使用下面這個命令接觸。
實際過程中還報了一個:不能寫入temp/.XXX目錄的一個錯誤。實際就是安全模式無法寫入。
sudo -uhdfs hdfs dfsadmin -safemode leave
 
切換數據存儲目錄 需要手動把數據文件復制過去
 
cp -r /ddhome/dfs/ /home/hdfs/
 
cp -r /ddhome/dfs/dn /home/hdfs/dfs
 
cp -r /ddhome/dfs/dn /ddhome/dfs_bak
 
三、數據整理(根據需要進行)
 
1、先把數據備份成三分
hadoop dfs -setrep -w 3 -R /
 
2數據均衡
1.對hdfs負載設置均衡,因為默認的數據傳輸帶寬比較低,可以設置為64M,
hdfs dfsadmin -setBalancerBandwidth 67108864
 
2.默認balancer的threshold為10%,即各個節點存儲使用率偏差不超過10%,我們可將其設置為5%;然后啟動Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可
#./start-balancer.sh -threshold 5
hdfs balancer -threshold 1 #這個是機器資源使用率的差額,如果設置太小,可能不會遷移
#詳細使用請參照下面這篇博客
 
 
 
 
=============================================================================
 
四、hadoop組件遷移:
1、可以有多個主節點的主鍵,可以先添加好備用的主鍵節點。然后重啟,等備用節點完全同步了主節點之后,就可以停止老的主幾點了。會自動切換到新的主節點上。這個時候就可以刪除老的主節點了。
zk、hbase、hdfs、yarn、hive( Hive Metastore ServerHiveServer2都可以)。
 
2、一些機器不相關的組件,可以直接刪除了,加入新機器之后,直接在新的節點上重新裝這部分組件。
典型的有yarn、spark on yarn、hue、
 
3 比較難遷移的就是hdfs。因為它涉及到真正的數據存儲在哪個位置。
需要一個節點一個節點的:停止---數據同步到其他節點----刪除這節點。
 
這里要注意:nameNode角色遷移,刪除老節點之后,整個hdfs就鎖死不能進行操作了。因為刪除該節點之后,hdfs沒有自動進行配置修改,它任然是高可用模式,你做什么操作 它都提示錯誤不能進行。需要手動到hdfs的配置里面把高可用相關的配置全部去除掉。然后重新添加新節點上的nameNode。可以在這個時候直接進行高可用部署方式。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM