最近一直在自學Hadoop，今天花點時間搭建一個開發環境，並整理成文。
首先要了解一下Hadoop的運行模式：
單機模式（standalone）
單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時，Hadoop無法了解硬件安裝環境，便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均為空。當配置文件為空時，Hadoop會完全運行在本地。因為不需要與其他節點交互，單機模式就不使用HDFS，也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。
偽分布模式（Pseudo-Distributed Mode）
偽分布模式在“單節點集群”上運行Hadoop，其中所有的守護進程都運行在同一台機器上。該模式在單機模式之上增加了代碼調試功能，允許你檢查內存使用情況，HDFS輸入輸出，以及其他的守護進程交互。
全分布模式（Fully Distributed Mode）
Hadoop守護進程運行在一個集群上。
版本：ubuntu 10.04.4，hadoop 1.0.2
1.添加hadoop用戶到系統用戶
安裝前要做一件事——添加一個名為hadoop到系統用戶，專門用來做Hadoop測試。
[html] view plaincopy
-
~$ sudo addgroup hadoop
-
~$ sudo adduser --ingroup hadoop hadoop
現在只是添加了一個用戶hadoop，它並不具備管理員權限，因此我們需要將用戶hadoop添加到管理員組：
[html] view plaincopy
-
~$ sudo usermod -aG admin hadoop
2.安裝ssh
由於Hadoop用ssh通信，先安裝ssh
[html] view plaincopy
-
~$ sudo apt-get install openssh-server
ssh安裝完成以后，先啟動服務：
[html] view plaincopy
-
~$ sudo /etc/init.d/ssh start
啟動后，可以通過如下命令查看服務是否正確啟動：
[html] view plaincopy
-
~$ ps -e | grep ssh
作為一個安全通信協議，使用時需要密碼，因此我們要設置成免密碼登錄，生成私鑰和公鑰：
[html] view plaincopy
-
hadoop@scgm-ProBook:~$ ssh-keygen -t rsa -P ""
因為我已有私鑰，所以會提示是否覆蓋當前私鑰。第一次操作時會提示輸入密碼，按Enter直接過，這時會在～/home/{username}/.ssh下生成兩個文件：id_rsa和id_rsa.pub，前者為私鑰，后者為公鑰，現在我們將公鑰追加到authorized_keys中（authorized_keys用於保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容）：
[html] view plaincopy
-
~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
現在可以登入ssh確認以后登錄時不用輸入密碼：
[html] view plaincopy
-
~$ ssh localhost
登出：
[html] view plaincopy
-
~$ exit
第二次登錄：
[html] view plaincopy
-
~$ ssh localhost
登出：
[html] view plaincopy
-
~$ exit
這樣以后登錄就不用輸入密碼了。
3.安裝Java
[html] view plaincopy
-
~$ sudo apt-get install openjdk-6-jdk
-
~$ java -version
4.安裝hadoop 1.0.2
到官網下載hadoop源文件，這里選擇hadoop 1.0.2
解壓並放到你希望的目錄中。我是放到/usr/local/hadoop
[html] view plaincopy
-
~$ sudo tar xzf hadoop-1.0.2.tar.gz
-
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop
要確保所有的操作都是在用戶hadoop下完成的：
[html] view plaincopy
-
~$ sudo chown -R hadoop:hadoop /usr/local/hadoop
5.設定hadoop-env.sh(Java 安裝路徑)
進入hadoop目錄，打開conf目錄下到hadoop-env.sh，添加以下信息：
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (視你機器的java安裝路徑而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
並且，讓環境變量配置生效source
[html] view plaincopy
-
~$ source /usr/local/hadoop/conf/hadoop-env.sh
至此，hadoop的單機模式已經安裝成功。
於是，運行一下hadoop自帶的例子WordCount來感受以下MapReduce過程：
在hadoop目錄下新建input文件夾
[html] view plaincopy
-
~$ mkdir input
將conf中的所有文件拷貝到input文件夾中
[html] view plaincopy
-
~$ cp conf/* input
運行WordCount程序，並將結果保存到output中
[html] view plaincopy
-
~$ bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input output
運行
[html] view plaincopy
-
~$ cat output/*
你會看到conf所有文件的單詞和頻數都被統計出來。
下面是偽分布模式需要的一些配置，繼續。
6.設定*-site.xml
這里需要設定3個文件：core-site.xml,hdfs-site.xml,mapred-site.xml，都在/usr/local/hadoop/conf目錄下
core-site.xml: Hadoop Core的配置項，例如HDFS和MapReduce常用的I/O設置等。
hdfs-site.xml: Hadoop 守護進程的配置項，包括namenode，輔助namenode和datanode等。
mapred-site.xml： MapReduce 守護進程的配置項，包括jobtracker和tasktracker。
首先在hadoop目錄下新建幾個文件夾
[html] view plaincopy
-
~/hadoop$ mkdir tmp
-
~/hadoop$ mkdir hdfs
-
~/hadoop$ mkdir hdfs/name
-
~/hadoop$ mkdir hdfs/data
接下來編輯那三個文件：
core-site.xml:
[html] view plaincopy
-
<configuration>
-
<property>
-
<name>fs.default.name</name>
-
<value>hdfs://localhost:9000</value>
-
</property>
-
<property>
-
<name>hadoop.tmp.dir</name>
-
<value>/usr/local/hadoop/tmp</value>
-
</property>
-
</configuration>
hdfs-site.xml:
[html] view plaincopy
-
<configuration>
-
<property>
-
<name>dfs.replication</name>
-
<value>1</value>
-
</property>
-
<property>
-
<name>dfs.name.dir</name>
-
<value>/usr/local/hadoop/hdfs/name</value>
-
</property>
-
<property>
-
<name>dfs.data.dir</name>
-
<value>/usr/local/hadoop/hdfs/data</value>
-
</property>
-
</configuration>
mapred-site.xml:
[html] view plaincopy
-
<configuration>
-
<property>
-
<name>mapred.job.tracker</name>
-
<value>localhost:9001</value>
-
</property>
-
</configuration>
7.格式化HDFS
通過以上步驟，我們已經設定好Hadoop單機測試到環境，接着就是啟動Hadoop到相關服務，格式化namenode,secondarynamenode,tasktracker:
[html] view plaincopy
-
~$ source /usr/local/hadoop/conf/hadoop-env.sh
-
~$ hadoop namenode -format
8.啟動Hadoop
接着執行start-all.sh來啟動所有服務，包括namenode,datanode，start-all.sh腳本用來裝載守護進程。
[html] view plaincopy
-
hadoop@ubuntu:/usr/local/hadoop$ cd bin
-
hadoop@ubuntu:/usr/local/hadoop/bin$ start-all.sh
用Java的jps命令列出所有守護進程來驗證安裝成功
[html] view plaincopy
-
hadoop@ubuntu:/usr/local/hadoop$ jps
出現如下列表，表明成功
9.檢查運行狀態
所有的設置已完成，Hadoop也啟動了，現在可以通過下面的操作來查看服務是否正常，在Hadoop中用於監控集群健康狀態的Web界面：
http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 狀態
http://localhost:50070/ - Hadoop DFS 狀態
Hadoop 管理介面：
Hadoop Task Tracker 狀態：
Hadoop DFS 狀態：
至此，hadoop的偽分布模式已經安裝成功，於是，再次在偽分布模式下運行一下hadoop自帶的例子WordCount來感受以下MapReduce過程：
這時注意程序是在文件系統dfs運行的，創建的文件也都基於文件系統：
首先在dfs中創建input目錄
[html] view plaincopy
-
hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input
將conf中的文件拷貝到dfs中的input
[html] view plaincopy
-
hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input
在偽分布式模式下運行WordCount
[html] view plaincopy
-
hadoop@ubuntu:/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output
可看到以下過程
顯示輸出結果
[html] view plaincopy
-
hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -cat output/*
當Hadoop結束時，可以通過stop-all.sh腳本來關閉Hadoop的守護進程
[html] view plaincopy
-
hadoop@ubuntu:/usr/local/hadoop$ bin/stop-all.sh
10.結語
在ubuntu上搭建hadoop成功！有點小興奮，已經迫不及待的想開始做一些相關的開發及深入理解hadoop內核實現，繼續加油咯！
PS：單機模式和偽分布模式均用於開發和調試的目的。真實Hadoop集群的運行采用的是第三種模式，即全分布模式。待續。
本文參考了這兩位同學的文章！