一、 單機模式Standalone Operation
單機模式也叫本地模式,只適用於本地的開發調試，或快速安裝體驗hadoop，本地模式的安裝比較簡單，下載完hadoop安裝包就可以直接運行。
1、 下載安裝jdk
(1) 一定要下載Oracle的官方jdk版本，這里實驗的版本是jdk1.8.0_231，具體看hadoop的版本要求，否則會有不兼容的問題，下載地址：
(2) 將jdk-8u231-linux-x64.tar.gz 解壓到 /opt/modules目錄下
(3) 解壓命令:
$ tar –zxvf jdk-8u231-linux-x64.tar.gz –C /opt/modules
(4) 執行命令vi /etc/profile設置JAVA_HOME環境變量,增加2行內容:
export JAVA_HOME=/opt/modules/jdk1.8.0_231 export PATH=$JAVA_HOME/bin:$PATH
(5) 執行命令，讓設置生效
$ source /etc/profile
(6) 驗證:
$ java –version
2、 下載安裝hadoop
(1) 由於考慮到jdk和hadoop版本的兼容，下載時請看一下相關版本的要求，這里實驗是hadoop-3.2.1，下載地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
(2) 將hadoop-3.2.1.tar.gz 解壓到 /opt/modules目錄下
(3) 解壓命令:
$ tar –zxvf hadoop-3.2.1.tar.gz –C /opt/modules
(4) 執行命令vi /etc/profile設置JAVA_HOME和HADOOP_HOME環境變量,
增加1行內容:
export HADOOP_HOME=/opt/modules/hadoop-3.2.1
修改1行內容:
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(5) 執行命令, 讓設置生效
source /etc/profile
(6) 驗證：
hadoop version
(7) 執行命令：hadoop，可以查看hadoop下的所有命令用法，和linux下的shell命令一樣。
$ hadoop
3、 測試-使用hadoop做幾個示例
(1) 統計文件的單詞出現頻次：
創建一個wc.input文件，將一些單詞寫入到文件中
$ echo 'hadoop mapreduce hivehbase spark stormsqoop hadoop hivespark hadoop' >> wc.input
用hadoop來統計文件wc.input中的單詞頻次，輸出到output2文件目錄
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /opt/data/wc.input /opt/data/output2
查看一下一下output2文件目錄，part-r-00000是結果內容
(2) 統計文件的數量
創建一個目錄input3
$ mkdir /opt/data/input3
將hadoop目錄下的所有文件拷貝到input3目錄中
$ cp /opt/modules/hadoop-3.2.1/etc/hadoop/* /opt/data/input3
用hadoop來統計目錄input3中以dfs開頭命名的文件的名稱和數量，輸出到output3文件目錄
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep /opt/data/input3 /opt/data/output3 'dfs[a-z.]+'
查看一下一下output2文件目錄，part-r-00000是結果內容
相關文章：偽分布模式Pseudo-Distributed Operation