yarn卸載或增加節點


yarn卸載或增加節點

 

卸載節點或者增加節點: 
方式一:靜態的增添刪除:將集群關閉,修改配置文件(etc/hadoop/slaves),重新啟動集群(很黃很暴力,不夠人性化)。 
方式二:動態的增加和卸載節點。

卸載DataNode節點: 
1)要在HDFS主節點NameNode上,進行配置。 
a)在etc/hadoop/hdfs-site.xml中,設置屬性值: 

dfs.hosts.exclude 
/opt/modules/hadoop-2.5.0/ect/hadoop/dfs-hosts.exclude 

b)創建文件並在文件中加入卸載節點的IP地址或者主機名。 
2)在NameNode節點上刷新集群 
bin/hdfs dfsadmin -refreshNodes 
3)從頁面查看卸載相關信息(過程)。 
4)通過命令來查看結果。 
bin/hdfs dfsadmin -report 
5)在卸載機器上關閉DataNode進程 
sbin/hadoop-daemon.sh stop datanode 
6)將dfs-hosts.exclude文件內容清空

注意: 
在卸載NodeManager時,一定要主要配置在ResourceManager上。 

yarn.resourcemanager.nodes.exclude-path 
/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-hosts.exclude 

增加新機器,DataNode(存儲數據)和NodeManager(計算) 
1)系統、主機名、IP地址、防火牆、SELinux等與集群的從節點基本配置保持一致。 
2)安裝JDK(版本、路徑、環境變量保持一致)。 
3)配置主節點(HDFS:NameNode;YARN:ResourceManager)所在機器到新機器的SSH無密鑰登錄(方便集群的啟動)。 
4)配置修改etc/hadoop/slaves文件(只需要在主節點上修改)。 
5)分發hadoop安裝包(配置完成)到新機器上。 
6)創建HDFS、YARN在新機器的本地磁盤上一些文件夾。 
7)在新機器上啟動DataNode和NodeManager節點。 
DataNode:sbin/hadoop.daemon.sh start datanode 
NodeManager:sbin/yarn.daemon.sh start nodemanager 
注意: 
需要將新機器的IP地址與主機名稱的映射關系配置到系統的【/etc/hosts】文件中,最好是所有集群中的機器都要添加。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM