Hadoop3.1.3安裝教程_單機/偽分布式配置

環境：

本教程使用 Ubuntu 18.04 64位 作為系統環境（或者Ubuntu 14.04，Ubuntu16.04 也行，32位、64位均可），請自行安裝系統

裝好了 Ubuntu 系統之后，在安裝 Hadoop 前還需要做一些必備工作。

創建hadoop用戶

如果你安裝 Ubuntu 的時候不是用的 “hadoop” 用戶，那么需要增加一個名為 hadoop 的用戶。

首先按 ctrl+alt+t 打開終端窗口，輸入如下命令創建新用戶 :

$sudo useradd -m hadoop -s /bin/bash	

這條命令創建了可以登陸的 hadoop 用戶，並使用 /bin/bash 作為 shell。

sudo命令
本文中會大量使用到sudo命令。sudo是ubuntu中一種權限管理機制，管理員可以授權給一些普通用戶去執行一些需要root權限執行的操作。當使用sudo命令時，就需要輸入您當前用戶的密碼.

密碼
在Linux的終端中輸入密碼，終端是不會顯示任何你當前輸入的密碼，也不會提示你已經輸入了多少字符密碼。而在windows系統中,輸入密碼一般都會以“*”表示你輸入的密碼字符

輸入法中英文切換
ubuntu中終端輸入的命令一般都是使用英文輸入。linux中英文的切換方式是使用鍵盤“shift”鍵來切換，也可以點擊頂部菜單的輸入法按鈕進行切換。ubuntu自帶的Sunpinyin中文輸入法已經足夠讀者使用。

Ubuntu終端復制粘貼快捷鍵
在Ubuntu終端窗口中，復制粘貼的快捷鍵需要加上 shift，即粘貼是 ctrl+shift+v。

接着使用如下命令設置密碼，可簡單設置為 hadoop，按提示輸入兩次密碼：

$sudo passwd hadoop

可為 hadoop 用戶增加管理員權限，方便部署，避免一些對新手來說比較棘手的權限問題：

$sudo adduser hadoop sudo

最后注銷當前用戶（點擊屏幕右上角的齒輪，選擇注銷），返回登陸界面。在登陸界面中選擇剛創建的 hadoop 用戶進行登陸。

更新apt

用 hadoop 用戶登錄后，我們先更新一下 apt，后續我們使用 apt 安裝軟件，如果沒更新可能有一些軟件安裝不了。按 ctrl+alt+t 打開終端窗口，執行如下命令：

$sudo apt-get update

若出現如下 “Hash校驗和不符” 的提示，可通過更改軟件源來解決。若沒有該問題，則不需要更改。從軟件源下載某些軟件的過程中，可能由於網絡方面的原因出現沒法下載的情況，那么建議更改軟件源。在學習Hadoop過程中，即使出現“Hash校驗和不符”的提示，也不會影響Hadoop的安裝。

Ubuntu更新軟件源時遇到Hash校驗和不符的問題

后續需要更改一些配置文件，我比較喜歡用的是 vim（vi增強版，基本用法相同），建議安裝一下（如果你實在還不會用 vi/vim 的，請將后面用到 vim 的地方改為 gedit，這樣可以使用文本編輯器進行修改，並且每次文件更改完成后請關閉整個 gedit 程序，否則會占用終端）：

$sudo apt-get install vim

安裝軟件時若需要確認，在提示處輸入 y 即可。

安裝SSH、配置SSH無密碼登陸（勿忘）

集群、單節點模式都需要用到 SSH 登陸（類似於遠程登陸，你可以登錄某台 Linux 主機，並且在上面運行命令），Ubuntu 默認已安裝了 SSH client，此外還需要安裝 SSH server：

$sudo apt-get install openssh-server	

安裝后，可以使用如下命令登陸本機：

$ssh localhost

此時會有如下提示(SSH首次登陸提示)，輸入 yes 。然后按提示輸入密碼 hadoop，這樣就登陸到本機了。

但這樣登陸是需要每次輸入密碼的，我們需要配置成SSH無密碼登陸比較方便。

首先退出剛才的 ssh，就回到了我們原先的終端窗口，然后利用 ssh-keygen 生成密鑰，並將密鑰加入到授權中：

$exit                           # 退出剛才的 ssh localhost
$cd ~/.ssh/                     # 若沒有該目錄，請先執行一次ssh localhost
$ssh-keygen -t rsa              # 會有提示，都按回車就可以
$cat ./id_rsa.pub >> ./authorized_keys  # 加入授權

~的含義
在 Linux 系統中，~ 代表的是用戶的主文件夾，即 “/home/用戶名” 這個目錄，如你的用戶名為 hadoop，則 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注釋，只需要輸入前面命令即可。

此時再用 ssh localhost 命令，無需輸入密碼就可以直接登陸了，如下圖所示。

安裝Java環境

手動安裝，推薦采用本方式

Hadoop3.1.3需要JDK版本在1.8及以上.請把壓縮格式的文件jdk-8u162-linux-x64.tar.gz下載到本地電腦，假設保存在“/home/linziyu/Downloads/”目錄下。

在Linux命令行界面中，執行如下Shell命令（注意：當前登錄用戶名是hadoop）：

$cd /usr/lib
$sudo mkdir jvm #創建/usr/lib/jvm目錄用來存放JDK文件
$cd ~ #進入hadoop用戶的主目錄
$cd Downloads  #注意區分大小寫字母，剛才已經通過FTP軟件把JDK安裝包jdk-8u162-$linux-x64.tar.gz上傳到該目錄下
$sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解壓到/usr/lib/jvm目錄下

JDK文件解壓縮以后，可以執行如下命令到/usr/lib/jvm目錄查看一下：

$cd /usr/lib/jvm
$ls

可以看到，在/usr/lib/jvm目錄下有個jdk1.8.0_162目錄。
下面繼續執行如下命令，設置環境變量：

$cd ~
$vim ~/.bashrc

打開了hadoop這個用戶的環境變量配置文件，請在這個文件的開頭位置，添加如下幾行內容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存.bashrc文件並退出vim編輯器。然后，繼續執行如下命令讓.bashrc文件的配置立即生效：

$source ~/.bashrc

這時，可以使用如下命令查看是否安裝成功：

$java -version

如果能夠在屏幕上返回如下信息，則說明安裝成功：

hadoop@ubuntu:~$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

至此，就成功安裝了Java環境。下面就可以進入Hadoop的安裝。

安裝 Hadoop3.1.3

我們選擇將 Hadoop 安裝至 /usr/local/ 中：

$sudo tar -zxf ~/下載/hadoop-3.1.3.tar.gz -C /usr/local    # 解壓到/usr/local中
$cd /usr/local/
$sudo mv ./hadoop-3.1.3/ ./hadoop            # 將文件夾名改為hadoop
$sudo chown -R hadoop ./hadoop       # 修改文件權限

Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用，成功則會顯示 Hadoop 版本信息：

$cd /usr/local/hadoop
$ ./bin/hadoop version

相對路徑與絕對路徑
請務必注意命令中的相對路徑與絕對路徑，本文后續出現的 ./bin/...，./etc/... 等包含 ./ 的路徑，均為相對路徑，以 /usr/local/hadoop 為當前目錄。例如在 /usr/local/hadoop 目錄中執行 ./bin/hadoop version 等同於執行 /usr/local/hadoop/bin/hadoop version。可以將相對路徑改成絕對路徑來執行，但如果你是在主文件夾 ~ 中執行 ./bin/hadoop version，執行的會是 /home/hadoop/bin/hadoop version，就不是我們所想要的了。

Hadoop單機配置(非分布式)

Hadoop 默認模式為非分布式模式（本地模式），無需進行其他配置即可運行。非分布式即單 Java 進程，方便進行調試。

現在我們可以執行例子來感受下 Hadoop 的運行。Hadoop 附帶了豐富的例子（運行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我們選擇運行 grep 例子，我們將 input 文件夾中的所有文件作為輸入，篩選當中符合正則表達式 dfs[a-z.]+ 的單詞並統計出現的次數，最后輸出結果到 output 文件夾中。

$cd /usr/local/hadoop
$mkdir ./input
$cp ./etc/hadoop/*.xml ./input   # 將配置文件作為輸入文件
$./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'
$cat ./output/*          # 查看運行結果

執行成功后如下所示，輸出了作業的相關信息，輸出的結果是符合正則的單詞 dfsadmin 出現了1次

注意，Hadoop 默認不會覆蓋結果文件，因此再次運行上面實例會提示出錯，需要先將 ./output 刪除。

$ rm -r ./output

Hadoop偽分布式配置

Hadoop 可以在單節點上以偽分布式的方式運行，Hadoop 進程以分離的 Java 進程來運行，節點既作為 NameNode 也作為 DataNode，同時，讀取的是 HDFS 中的文件。

Hadoop 的配置文件位於 /usr/local/hadoop/etc/hadoop/ 中，偽分布式需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現。

修改配置文件 core-site.xml (通過 gedit 編輯會比較方便: gedit ./etc/hadoop/core-site.xml)，將當中的

<configuration>
</configuration>

修改為下面配置：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同樣的，修改配置文件 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

Hadoop配置文件說明
Hadoop 的運行方式是由配置文件決定的（運行 Hadoop 時會讀取配置文件），因此如果需要從偽分布式模式切換回非分布式模式，需要刪除 core-site.xml 中的配置項。
此外，偽分布式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數，則默認使用的臨時目錄為 /tmp/hadoo-hadoop，而這個目錄在重啟時有可能被系統清理掉，導致必須重新執行 format 才行。所以我們進行了設置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯。

配置完成后，執行 NameNode 的格式化:

$ cd /usr/local/hadoop
$ ./bin/hdfs namenode -format

成功的話，會看到 “successfully formatted” 的提示，具體返回信息類似如下：

2020-01-08 15:31:31,560 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = hadoop/127.0.1.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 3.1.3
*/
......
2020-01-08 15:31:35,677 INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.
2020-01-08 15:31:35,700 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2020-01-08 15:31:35,770 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 393 bytes saved in 0 seconds .
2020-01-08 15:31:35,810 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2020-01-08 15:31:35,816 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.
2020-01-08 15:31:35,816 INFO namenode.NameNode: SHUTDOWN_MSG:
/
SHUTDOWN_MSG: Shutting down NameNode at hadoop/127.0.1.1
*************************************************************/

如果在這一步時提示 Error: JAVA_HOME is not set and could not be found. 的錯誤，則說明之前設置 JAVA_HOME 環境變量那邊就沒設置好，請按教程先設置好 JAVA_HOME 變量，否則后面的過程都是進行不下去的。如果已經按照前面教程在.bashrc文件中設置了JAVA_HOME，還是出現 Error: JAVA_HOME is not set and could not be found. 的錯誤，那么，請到hadoop的安裝目錄修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”，在里面找到“export JAVA_HOME=${JAVA_HOME}”這行，然后，把它修改成JAVA安裝路徑的具體地址，比如，“export JAVA_HOME=/usr/lib/jvm/default-java”，然后，再次啟動Hadoop。

接着開啟 NameNode 和 DataNode 守護進程。

$ cd /usr/local/hadoop
$ ./sbin/start-dfs.sh  #start-dfs.sh是個完整的可執行文件，中間沒有空格

若出現如下SSH提示，輸入yes即可。

啟動時可能會出現如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，並不會影響正常使用。

啟動 Hadoop 時提示 Could not resolve hostname
如果啟動 Hadoop 時遇到輸出非常多“ssh: Could not resolve hostname xxx”的異常情況，如下圖所示：

啟動Hadoop時的異常提示
這個並不是 ssh 的問題，可通過設置 Hadoop 環境變量來解決。首先按鍵盤的 ctrl + c 中斷啟動，然后在 ~/.bashrc 中，增加如下兩行內容（設置過程與 JAVA_HOME 變量一樣，其中 HADOOP_HOME 為 Hadoop 的安裝目錄）：

$ export HADOOP_HOME=/usr/local/hadoop
$ export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

保存后，務必執行 source ~/.bashrc 使變量設置生效，然后再次執行 ./sbin/start-dfs.sh 啟動 Hadoop。
啟動完成后，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下進程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 沒有啟動，請運行 sbin/stop-dfs.sh 關閉進程，然后再次嘗試啟動嘗試）。如果沒有 NameNode 或 DataNode ，那就是配置不成功，請仔細檢查之前步驟，或通過查看啟動日志排查原因。

成功啟動后，可以訪問 Web 界面 http://localhost:9870 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件。

運行Hadoop偽分布式實例

上面的單機模式，grep 例子讀取的是本地數據，偽分布式讀取的則是 HDFS 上的數據。要使用 HDFS，首先需要在 HDFS 中創建用戶目錄：

$ ./bin/hdfs dfs -mkdir -p /user/hadoop

接着將 ./etc/hadoop 中的 xml 文件作為輸入文件復制到分布式文件系統中，即將 /usr/local/hadoop/etc/hadoop 復制到分布式文件系統中的 /user/hadoop/input 中。我們使用的是 hadoop 用戶，並且已創建相應的用戶目錄 /user/hadoop ，因此在命令中就可以使用相對路徑如 input，其對應的絕對路徑就是 /user/hadoop/input:

$ ./bin/hdfs dfs -mkdir input
$ ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

復制完成后，可以通過如下命令查看文件列表：

$ ./bin/hdfs dfs -ls input

偽分布式運行 MapReduce 作業的方式跟單機模式相同，區別在於偽分布式讀取的是HDFS中的文件（可以將單機步驟中創建的本地 input 文件夾，輸出結果 output 文件夾都刪掉來驗證這一點）。

 $./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'

查看運行結果的命令（查看的是位於 HDFS 中的輸出結果）：

./bin/hdfs dfs -cat output/*

結果如下，注意到剛才我們已經更改了配置文件，所以運行結果不同。

我們也可以將運行結果取回到本地：

$ rm -r ./output    # 先刪除本地的 output 文件夾（如果存在）
$ ./bin/hdfs dfs -get output ./output     # 將 HDFS 上的 output 文件夾拷貝到本機
$ cat ./output/*

Hadoop 運行程序時，輸出目錄不能存在，否則會提示錯誤 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次執行，需要執行如下命令刪除 output 文件夾:

$ ./bin/hdfs dfs -rm -r output    # 刪除 output 文件夾

運行程序時，輸出目錄不能存在
運行 Hadoop 程序時，為了防止覆蓋結果，程序指定的輸出目錄（如 output）不能存在，否則會提示錯誤，因此運行前需要先刪除輸出目錄。在實際開發應用程序時，可考慮在程序中加上如下代碼，能在每次運行時自動刪除輸出目錄，避免繁瑣的命令行操作：

Configuration conf = new Configuration();
Job job = new Job(conf);
 
/* 刪除輸出目錄 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);

若要關閉 Hadoop，則運行

$ ./sbin/stop-dfs.sh

注意
下次啟動 hadoop 時，無需進行 NameNode 的初始化，只需要運行 ./sbin/start-dfs.sh 就可以！

備注：該教程來源於廈門大學林子雨老師，

安裝hadoop
http://dblab.xmu.edu.cn/blog/2441-2/