在運行中的ambari hadoop集中中動態添加或刪除節點
1. 下線節點
1) namenode節點上dfs.exclude文件,看配置文件怎么配置的,里每行添加一個服務器名,如我要下線server7,server8,server9,則如下:
server7
server8
resourcemanager節點上yarn.exclude文件里每行添加一個服務器名,如我要下線server7,server8,server9,則如下:
server7
server8
2) 選擇任意一台節點執行:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
yarn node -list
3) 這時可以通過hdfs dfsadmin -report或者web界面查看該datanode狀態轉為Decommission In Progress。
如果節點上數據比較多,下線會比較慢,等待。
當datanode完成數據遷移時,姿態會變為Decommissioned,繼續下面操作
4) 刪除dfs.exclude中下線節點的hosts,重新刷新:
hdfs dfsadmin -refreshNodes
5) 刪除slaves中下線節點的hosts
2. 上線節點
上線節點基本與下線相同
1) slaves文件里每行添加一個上線服務器名,同時保證dfs.exclude文件為空。
2) ./hdfs dfsadmin -refreshNodes
3) 在要上線的節點上啟動datanode:
./hadoop-daemon.sh start datanode
4) 如需要啟動nodemanager,則執行:
./yarn-daemon.sh start nodemanager
5) 修改slaves,添加上線節點的hosts