Hadoop添加節點datanode

1.部署hadoop

和普通的datanode一樣。安裝jdk，ssh

2.修改host

和普通的datanode一樣。添加namenode的ip

3.修改namenode的配置文件conf/slaves

添加新增節點的ip或host

4.在新節點的機器上，啟動服務

[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode 
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker

5.均衡block

[root@slave-004 hadoop]# ./bin/start-balancer.sh

這個會非常耗時
1）如果不balance，那么cluster會把新的數據都存放在新的node上，這樣會降低mapred的工作效率
2）設置平衡閾值，默認是10%，值越低各節點越平衡，但消耗時間也更長
[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
3）設置balance的帶寬，默認只有1M/s

<property> 
<name>dfs.balance.bandwidthPerSec</name> 
<value>1048576</value> 
<description> 
Specifies the maximum amount of bandwidth that each datanode 
can utilize for the balancing purpose in term of 
the number of bytes per second. 
</description> 
</property>

注意：

1. 必須確保slave的firewall已關閉;
2. 確保新的slave的ip已經添加到master及其他slaves的/etc/hosts中，反之也要將master及其他slave的ip添加到新的slave的/etc/hosts中