添加和刪除hadoop集群中的節點

1：添加節點

A：新節點中添加賬戶，設置無密碼登陸

B：Name節點中設置到新節點的無密碼登陸

C：在Name節點slaves文件中添加新節點

D：在所有節點/etc/hosts文件中增加新節點（所有節點保持一致）

E：在新節點中執行

./bin/hadoop-daemon.sh start datanode
./bin/hadoop-daemon.sh start tasktracker

均衡個數據節點中的數據
./bin/start-balancer.sh

注意

1）如果不balance，那么cluster會把新的數據都存放在新的node上，這樣會降低mapred的工作效率 
2）設置平衡閾值，默認是10%，值越低各節點越平衡，但消耗時間也更長 
./bin/start-balancer.sh -threshold 5
3）設置balance的帶寬，默認只有1M/s
<property>
　　<name>dfs.balance.bandwidthPerSec</name>  
　　<value>1048576</value>  
　　<description>  
　　　　Specifies the maximum amount of bandwidth that each datanode   
　　　　can utilize for the balancing purpose in term of   
　　　　the number of bytes per second.   
　　</description> 
</property>

 

刪除節點

A：修改Name節點的hdfs-site.xml增加

<property>
    <name>dfs.hosts.exclude</name>
    <value>/soft/hadoop/conf/excludes</value>
</property>

B：修改Name節點的mapred-site.xml增加

<property>
   <name>mapred.hosts.exclude</name>
   <value>/soft/hadoop/conf/excludes</value>
   <final>true</final>
</property>

C：新建excludes文件，文件里寫要刪除節點的hostname

D：Name節點執行

hadoop mradmin –refreshNodes
hadoop dfsadmin –refreshNodes
(task進程可以kill進程ID)

查看關閉進程

hadoop dfsadmin -report

當節點處於Decommissioned，表示關閉成功。

 

注意

1：如果剛刪除的節點要再添加到集群要先刪除excludes文件，執行 hadoop dfsadmin –refreshNodes

2：節點的狀態可以通過http://NameNodes:50070查看

3：如果數據較大則關閉的時間可能會很長