1.安裝環境
本教程使用 CentOS 8 64位 作為系統環境，請自行安裝系統。
本教程基於原生 Hadoop 2，在 Hadoop 2.8.5 版本下驗證通過，可適合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1, Hadoop 2.4.1等。
裝好了 CentOS 系統之后，在安裝 Hadoop 前還需要做一些必備工作。
2.創建hadoop用戶
如果你安裝 CentOS 的時候不是用的 “hadoop” 用戶，那么需要增加一個名為 hadoop 的用戶
命令行執行 useradd -m hadoop -s /bin/bash # 創建新用戶hadoop
為Hadoop創建密碼：
可為 hadoop 用戶增加管理員權限，方便部署，避免一些對新手來說比較棘手的權限問題，執行：
- visudo
如下圖，找到 root ALL=(ALL) ALL 這行（應該在第98行，可以先按一下鍵盤上的 ESC 鍵，然后輸入 :98 (按一下冒號，接着輸入98，再按回車鍵)，可以直接跳到第98行 ），然后在這行下面增加一行內容：hadoop ALL=(ALL) ALL （當中的間隔為tab），如下圖所示：
3.准備工作
使用 hadoop 用戶登錄后，還需要安裝幾個軟件才能安裝 Hadoop。
安裝SSH、配置SSH無密碼登陸
集群、單節點模式都需要用到 SSH 登陸（類似於遠程登陸，你可以登錄某台 Linux 主機，並且在上面運行命令），一般情況下，CentOS 默認已安裝了 SSH client、SSH server，打開終端執行如下命令進行檢驗：
- rpm -qa | grep ssh
如果返回的結果如下圖所示，包含了 SSH client 跟 SSH server，則不需要再安裝。
若需要安裝，則可以通過 yum 進行安裝（安裝過程中會讓你輸入 [y/N]，輸入 y 即可）：
- sudo yum install openssh-clients
- sudo yum install openssh-server
接着執行如下命令測試一下 SSH 是否可用：
- ssh localhost
此時會有如下提示(SSH首次登陸提示)，輸入 yes 。然后按提示輸入密碼 hadoop，這樣就登陸到本機了。
但這樣登陸是需要每次輸入密碼的，我們需要配置成SSH無密碼登陸比較方便。
首先輸入 exit 退出剛才的 ssh，就回到了我們原先的終端窗口，然后利用 ssh-keygen 生成密鑰，並將密鑰加入到授權中：
- exit # 退出剛才的 ssh localhost
- cd ~/.ssh/ # 若沒有該目錄，請先執行一次ssh localhost
- ssh-keygen -t rsa # 會有提示，都按回車就可以
- cat id_rsa.pub >> authorized_keys # 加入授權
- chmod 600 ./authorized_keys # 修改文件權限
安裝Java環境
Java 環境可選擇 Oracle 的 JDK，或是 OpenJDK，現在一般 Linux 系統默認安裝的基本是 OpenJDK，如 CentOS 6.4 就默認安裝了 OpenJDK 1.8。按 http://wiki.apache.org/hadoop/HadoopJavaVersions 中說的，Hadoop 在 OpenJDK 1.8 下運行是沒問題的。需要注意的是，CentOS 6.4 中默認安裝的只是 Java JRE，而不是 JDK，為了開發方便，我們還是需要通過 yum 進行安裝 JDK，安裝過程中會讓輸入 [y/N]，輸入 y 即可：
- sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
通過上述命令安裝 OpenJDK，默認安裝位置為 /usr/lib/jvm/java-1.8.0-openjdk（該路徑可以通過執行 rpm -ql java-1.8.0-openjdk-devel | grep '/bin/javac' 命令確定，執行后會輸出一個路徑，除去路徑末尾的 “/bin/javac”，剩下的就是正確的路徑了）。OpenJDK 安裝后就可以直接使用 java、javac 等命令了。
接着需要配置一下 JAVA_HOME 環境變量，為方便，我們在 ~/.bashrc 中進行設置（擴展閱讀: 設置Linux環境變量的方法和區別）：
- vim ~/.bashrc
在文件最后面添加如下單獨一行（指向 JDK 的安裝位置），並保存：
- export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
如下圖所示：
接着還需要讓該環境變量生效，執行如下代碼：
- source ~/.bashrc # 使變量設置生效
設置好后我們來檢驗一下是否設置正確：
- echo $JAVA_HOME # 檢驗變量值
- java -version
- $JAVA_HOME/bin/java -version # 與直接執行 java -version 一樣
如果設置正確的話，$JAVA_HOME/bin/java -version 會輸出 java 的版本信息，且和 java -version 的輸出結果一樣，如下圖所示：
這樣，Hadoop 所需的 Java 運行環境就安裝好了。
安裝 Hadoop 2
Hadoop 2 可以通過 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下載，本教程選擇的是 2.8.5 版本，下載時請下載 hadoop-2.x.y.tar.gz這個格式的文件，這是編譯好的，另一個包含 src 的則是 Hadoop 源代碼，需要進行編譯才可使用。
命令行輸入如下命令即可獲取hadoop2
ps： 如果wget沒安裝請先使用
安裝wget
解壓下載好的hadoop
- sudo tar -zxf ~/hadoop-2.8.5.tar.gz -C /目錄 # 解壓到/usr/local中
- cd /目錄
- sudo mv ./hadoop-2.8.5/ ./hadoop # 將文件夾名改為hadoop
- sudo chown -R hadoop:hadoop ./hadoop # 修改文件權限
Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用，成功則會顯示 Hadoop 版本信息：
- cd /目錄/hadoop
- ./bin/hadoop version
Hadoop單機配置(非分布式)
Hadoop 默認模式為非分布式模式，無需進行其他配置即可運行。非分布式即單 Java 進程，方便進行調試。
現在我們可以執行例子來感受下 Hadoop 的運行。Hadoop 附帶了豐富的例子（運行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。
在此我們選擇運行 grep 例子，我們將 input 文件夾中的所有文件作為輸入，篩選當中符合正則表達式 dfs[a-z.]+ 的單詞並統計出現的次數，最后輸出結果到 output 文件夾中。
- cd /目錄/hadoop
- mkdir ./input
- cp ./etc/hadoop/*.xml ./input # 將配置文件作為輸入文件
- ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
執行結果如圖所示：
- cat ./output/* # 查看運行結果
注意，Hadoop 默認不會覆蓋結果文件，因此再次運行上面實例會提示出錯，需要先將 ./output 刪除。
- rm -r ./output
Hadoop偽分布式配置
Hadoop 可以在單節點上以偽分布式的方式運行，Hadoop 進程以分離的 Java 進程來運行，節點既作為 NameNode 也作為 DataNode，同時，讀取的是 HDFS 中的文件。
在設置 Hadoop 偽分布式配置前，我們還需要設置 HADOOP 環境變量，令在 ~/.bashrc 中設置：
保存后，不要忘記執行如下命令使配置生效：
- source ~/.bashrc
這些變量在啟動 Hadoop 進程時需要用到，不設置的話可能會報錯（這些變量也可以通過修改 ./etc/hadoop/hadoop-env.sh 實現）。
Hadoop 的配置文件位於 /hadoop/etc/hadoop/ 中，偽分布式需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現。
修改配置文件 core-site.xml (通過 gedit 編輯會比較方便: gedit ./etc/hadoop/core-site.xml)，將當中的
- <configuration>
- </configuration>
修改為下面配置：
同樣的，修改配置文件 hdfs-site.xml：
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>file:/usr/local/hadoop/tmp/dfs/name</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>file:/usr/local/hadoop/tmp/dfs/data</value>
- </property>
- </configuration>
配置完成后，執行 NameNode 的格式化:
- ./bin/hdfs namenode -format
成功的話，會看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若為 “Exitting with status 1” 則是出錯。
ps:此處出錯一般為倆個配置文件手誤寫錯···結合日志仔細校驗即可
接着開啟 NaneNode 和 DataNode 守護進程：
- ./sbin/start-dfs.sh
若出現如下 SSH 的提示 “Are you sure you want to continue connecting”，輸入 yes 即可。
啟動完成后，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下進程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 沒有啟動，請運行 sbin/stop-dfs.sh 關閉進程，然后再次嘗試啟動嘗試）。如果沒有 NameNode 或 DataNode ，那就是配置不成功，請仔細檢查之前步驟，或通過查看啟動日志排查原因。
運行Hadoop偽分布式實例
上面的單機模式，grep 例子讀取的是本地數據，偽分布式讀取的則是 HDFS 上的數據。要使用 HDFS，首先需要在 HDFS 中創建用戶目錄：
- ./bin/hdfs dfs -mkdir -p /user/hadoop
接着將 ./etc/hadoop 中的 xml 文件作為輸入文件復制到分布式文件系統中
- ./bin/hdfs dfs -mkdir input
- ./bin/hdfs dfs -put ./etc/hadoop/*.xml input
復制完成后，可以通過如下命令查看 HDFS 中的文件列表：
- ./bin/hdfs dfs -ls input
偽分布式運行 MapReduce 作業的方式跟單機模式相同，區別在於偽分布式讀取的是HDFS中的文件（可以將單機步驟中創建的本地 input 文件夾，輸出結果 output 文件夾都刪掉來驗證這一點）。
- ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
查看運行結果的命令（查看的是位於 HDFS 中的輸出結果）：
- ./bin/hdfs dfs -cat output
結果如下，注意到剛才我們已經更改了配置文件，所以運行結果不同。
- ./bin/hdfs dfs -ls output
我們也可以將運行結果取回到本地：
- rm -r ./output # 先刪除本地的 output 文件夾（如果存在）
- ./bin/hdfs dfs -get output ./output # 將 HDFS 上的 output 文件夾拷貝到本機
- cat ./output/*
Hadoop 運行程序時，輸出目錄不能存在，否則會提示錯誤 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次執行，需要執行如下命令刪除 output 文件夾:
- ./bin/hdfs dfs -rm -r output # 刪除 output 文件夾
運行 Hadoop 程序時，為了防止覆蓋結果，程序指定的輸出目錄（如 output）不能存在，否則會提示錯誤，因此運行前需要先刪除輸出目錄。在實際開發應用程序時，可考慮在程序中加上如下代碼，能在每次運行時自動刪除輸出目錄，避免繁瑣的命令行操作：
- Configuration conf = new Configuration();
- Job job = new Job(conf);
- /* 刪除輸出目錄 */
- Path outputPath = new Path(args[1]);
- outputPath.getFileSystem(conf).delete(outputPath, true);
若要關閉 Hadoop，則運行
- ./sbin/stop-dfs.sh
下次啟動 hadoop 時，無需進行 NameNode 的初始化，只需要運行 ./sbin/start-dfs.sh 就可以！
啟動YARN
（偽分布式不啟動 YARN 也可以，一般不會影響程序執行）
有的讀者可能會疑惑，怎么啟動 Hadoop 后，見不到書上所說的 JobTracker 和 TaskTracker，這是因為新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也稱為 YARN，Yet Another Resource Negotiator）。
YARN 是從 MapReduce 中分離出來的，負責資源管理與任務調度。YARN 運行於 MapReduce 之上，提供了高可用性、高擴展性，YARN 的更多介紹在此不展開，有興趣的可查閱相關資料。
上述通過 ./sbin/start-dfs.sh 啟動 Hadoop，僅僅是啟動了 MapReduce 環境，我們可以啟動 YARN ，讓 YARN 來負責資源管理與任務調度。
首先修改配置文件 mapred-site.xml，這邊需要先進行重命名：
- mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
然后再進行編輯，同樣使用 gedit 編輯會比較方便些 gedit ./etc/hadoop/mapred-site.xml ：
接着修改配置文件 yarn-site.xml：
然后就可以啟動 YARN 了（需要先執行過 ./sbin/start-dfs.sh）：
- ./sbin/start-yarn.sh $ 啟動YARN
- ./sbin/mr-jobhistory-daemon.sh start historyserver # 開啟歷史服務器，才能在Web中查看任務運行情況
開啟后通過 jps 查看，可以看到多了 NodeManager 和 ResourceManager 兩個后台進程，如下圖所示。
啟動 YARN 之后，運行實例的方法還是一樣的，僅僅是資源管理方式、任務調度不同。觀察日志信息可以發現，不啟用 YARN 時，是 “mapred.LocalJobRunner” 在跑任務，啟用 YARN 之后，是 “mapred.YARNRunner” 在跑任務。
但 YARN 主要是為集群提供更好的資源管理與任務調度，然而這在單機上體現不出價值，反而會使程序跑得稍慢些。因此在單機上是否開啟 YARN 就看實際情況了。
如果不想啟動 YARN，務必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用時改回來就行。否則在該配置文件存在，而未開啟 YARN 的情況下，運行程序會提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的錯誤，這也是為何該配置文件初始文件名為 mapred-site.xml.template。
同樣的，關閉 YARN 的腳本如下：
- ./sbin/stop-yarn.sh
- ./sbin/mr-jobhistory-daemon.sh stop historyserver
自此，你已經掌握 Hadoop 的配置和基本使用了。
關閉服務：
