hadoop上線和下線節點


在運行中的ambari hadoop集中中動態添加或刪除節點

1. 下線節點
1) namenode節點上dfs.exclude文件,看配置文件怎么配置的,里每行添加一個服務器名,如我要下線server7,server8,server9,則如下:
server7
server8

resourcemanager節點上yarn.exclude文件里每行添加一個服務器名,如我要下線server7,server8,server9,則如下:
server7
server8

2) 選擇任意一台節點執行:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
yarn node -list

3) 這時可以通過hdfs dfsadmin -report或者web界面查看該datanode狀態轉為Decommission In Progress。
如果節點上數據比較多,下線會比較慢,等待。
當datanode完成數據遷移時,姿態會變為Decommissioned,繼續下面操作

4) 刪除dfs.exclude中下線節點的hosts,重新刷新:
hdfs dfsadmin -refreshNodes

5) 刪除slaves中下線節點的hosts


2. 上線節點
上線節點基本與下線相同
1) slaves文件里每行添加一個上線服務器名,同時保證dfs.exclude文件為空。

2) ./hdfs dfsadmin -refreshNodes

3) 在要上線的節點上啟動datanode:
./hadoop-daemon.sh start datanode

4) 如需要啟動nodemanager,則執行:
./yarn-daemon.sh start nodemanager

5) 修改slaves,添加上線節點的hosts


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM