本文地址：http://www.cnblogs.com/myresearch/p/hadoop-full-distributed-operation.html，轉載請注明源地址。
我這邊是使用了兩台主機搭建集群，主機名與IP地址對應如下：
master 192.168.111.131
slave1 192.168.111.135
然后在該主機的 /etc/hostname 中，修改機器名為master，將其他主機命令為slave1、slave2等。接着在 /etc/hosts 中，把所有集群的主機信息都寫進去。
hadoop@ubuntu:~$ sudo vim /etc/hostname hadoop@ubuntu:~$ sudo vim /etc/hosts
127.0.0.1 localhost
192.168.111.131 master
192.168.111.135 slave1
完成后，最好重啟一下，在終端中才會看到機器名的變化。
配置好后可以在各個主機上執行ping Master和ping Slave1測試一下，看是否相互ping得通。
在slave主機上配置hadoop用戶、安裝SSH server、安裝Java環境
SSH無密碼登陸節點
首先生成master的公鑰，實現本機的無密碼登錄，具體方法可參照《Hadoop2.6.0單機/偽分布式安裝》
用ssh master驗證：
hadoop@master:~$ ssh master
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
Last login: Wed May 13 22:38:37 2015 from master
接着將公匙傳輸到 slave1 節點：
hadoop@master:~$ scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/
接着在 slave1節點 上將ssh公匙保存到相應位置，執行:
hadoop@slave1:~/.ssh$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
最后在 Master 節點上就可以無密碼SSH到Slave1節點:
hadoop@master:~$ ssh slave1
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
545 packages can be updated.
188 updates are security updates.
Last login: Thu May 14 01:33:14 2015 from slave1
配置分布式環境
分布式模式需要修改 etc/hadoop 中的5個配置文件，后四個文件可點擊查看官方默認設置值，這里僅設置了正常啟動所必須的設置項： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
1. 文件slaves
直接打開slave文件，也可以使用vim打開
把文件中的localhost刪除，把所有Slave的主機名寫上，每行一個。
2. core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/opt/hadoop-2.6.0/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration>
3. hdfs-site.xml，因為只有一個slave，所以dfs.replication的值設為1。
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/opt/hadoop-2.6.0/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/opt/hadoop-2.6.0/tmp/dfs/data</value> </property> </configuration>
4. mapred-site.xml
這個文件不存在，首先需要從模板中復制一份：
hadoop@master:~/opt/hadoop-2.6.0/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml
然后配置修改如下：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5. yarn-site.xml：
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
配置好后，將 master 上的 Hadoop 文件復制到各個節點上。
hadoop@master:~$ cd ~/opt/hadoop-2.6.0
hadoop@master:~/opt/hadoop-2.6.0$ rm -r tmp
hadoop@master:~/opt/hadoop-2.6.0$ cd
hadoop@master:~$ cd ~/opt
hadoop@master:~/opt$ sudo tar -zcf ./hadoop-2.6.0.tar.gz ./hadoop-2.6.0
[sudo] password for hadoop:
hadoop@master:~/opt$ scp ./hadoop-2.6.0.tar.gz slave1:/home/hadoop/opt
在slave1上面執行:
hadoop@slave1:~/opt$ sudo tar -zxf hadoop-2.6.0.tar.gz hadoop@slave1:~$ sudo chown -R hadoop:hadoop /home/hadoop/opt/hadoop-2.6.0
接下來在master節點上啟動hadoop：
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs namenode -format hadoop@master:~/opt/hadoop-2.6.0$ sbin/start-dfs.sh hadoop@master:~/opt/hadoop-2.6.0$ sbin/start-yarn.sh
通過jps查看各個節點所啟動的進程，首先查看master：
3815 NameNode
4009 SecondaryNameNode
4330 Jps
4143 ResourceManager
可以看到master節點啟動了NameNode、SecondaryNameNode、ResourceManager進程。
接着查看slave1：
3606 Jps
3510 NodeManager
3390 DataNode
slave節點則啟動了DataNode和NodeManager進程。
另外也可以在master節點上通過命令bin/hdfs dfsadmin -report查看DataNode是否正常啟動。
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs dfsadmin -report
Configured Capacity: 20474130432 (19.07 GB)
Present Capacity: 14381412352 (13.39 GB)
DFS Remaining: 14381387776 (13.39 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Live datanodes (1):
Name: 192.168.111.135:50010 (slave1)
Hostname: slave1
Decommission Status : Normal
Configured Capacity: 20474130432 (19.07 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6092718080 (5.67 GB)
DFS Remaining: 14381387776 (13.39 GB)
DFS Used%: 0.00%
DFS Remaining%: 70.24%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu May 14 02:28:49 PDT 2015
也可以通過Web頁面看到查看DataNode和NameNode的狀態，http://master:50070/
關閉Hadoop集群也是在master節點上執行：
$ sbin/stop-dfs.sh $ sbin/stop-yarn.sh
執行WordCount實例
執行WordCount實例過程與偽分布式模式一樣。首先創建所需的幾個目錄:
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs dfs -mkdir -p /user/hadoop
將etc/hadoop中的文件作為輸入文件復制到分布式文件系統中。
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs dfs -put etc/hadoop input
接着就可以運行MapReduce作業:
hadoop@master:~/opt/hadoop-2.6.0$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'
顯示運行時的信息、Job的進度。整個過程可能會比較慢
同樣可以通過Web界面查看任務進度 http://master:8088/cluster
參考資料
http://www.powerxing.com/install-hadoop-cluster/
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html