hadoop2.7.2單機與偽分布式安裝

環境相關

系統：CentOS 6.8 64位
jdk：1.7.0_79
hadoop：hadoop 2.7.2

---

安裝java環境

詳見：linux中搭建java開發環境

---

創建hadoop用戶

# 以root用戶登錄
su root

# 創建一個hadoop組下的hadoop用戶，並使用 /bin/bash 作為shell
useradd -m hadoop -G hadoop -s /bin/bash

# useradd 主要參數
# －c：加上備注文字，備注文字保存在passwd的備注欄中。
# －d：指定用戶登入時的啟始目錄
# －D：變更預設值
# －e：指定賬號的有效期限，缺省表示永久有效
# －f：指定在密碼過期后多少天即關閉該賬號
# －g：指定用戶所屬的起始群組
# －G：指定用戶所屬的附加群組
# －m：自動建立用戶的登入目錄
# －M：不要自動建立用戶的登入目錄
# －n：取消建立以用戶名稱為名的群組
# －r：建立系統賬號
# －s：指定用戶登入后所使用的shell
# －u：指定用戶ID號

# 設置hadoop用戶密碼，按提示輸入兩次密碼
# 學習階段可簡單設為"hadoop"，若提示“無效的密碼，過於簡單”，則再次輸入確認即可
passwd hadoop

可為hadoop用戶增加管理員權限，避免一些對新手來說比較棘手的權限問題。

visudo

# 找到 root ALL=(ALL) ALL 這行
# 大致在第98行，可先按一下鍵盤上的ESC鍵，然后輸入 :98
# 在這行下面增加一行內容 hadoop ALL=(ALL) ALL

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL

保存退出后以剛才創建的hadoop用戶登錄

---

配置SSH免密碼登錄

集群、單節點模式都需要用到 SSH 登陸，一般情況下，CentOS 默認已安裝了 SSH client、SSH server，打開終端執行如下命令進行檢驗，查看是否包含了SSH client跟SSH server

[hadoop@iZwz9b62gfdv0s2e67yo8kZ hadoop]$ rpm -qa | grep ssh
libssh2-1.4.2-2.el6_7.1.x86_64
openssh-5.3p1-118.1.el6_8.x86_64
openssh-clients-5.3p1-118.1.el6_8.x86_64
openssh-server-5.3p1-118.1.el6_8.x86_64

如果不包含，可以通過yum進行安裝

sudo yum install openssh-clients
sudo yum install openssh-server

測試下ssh是否可用

# 按提示輸入密碼hadoop，就可以登陸到本機
ssh localhost

但這樣登陸是需要每次輸入密碼的，我們需要配置成SSH無密碼登陸比較方便。
首先輸入 exit 退出剛才的 ssh，就回到了我們原先的終端窗口。
然后利用 ssh-keygen 生成密鑰，並將密鑰加入到授權中。

# 退出剛才的 ssh localhost
exit

# 若沒有該目錄，請先執行一次ssh localhost
cd ~/.ssh/

# pwd查看當前目錄，應為"/home/hadoop/"
# ~ 代表的是用戶的主文件夾，即 “/home/用戶名” 這個目錄

# 會有提示，都按回車就可以
ssh-keygen -t rsa              
cat id_rsa.pub >> authorized_keys
chmod 600 ./authorized_keys

此時再用 ssh localhost 命令, 無需輸入密碼就可以直接登陸了

[hadoop@iZwz9b62gfdv0s2e67yo8kZ .ssh]$ ssh localhost
Last login: Wed Feb 20 22:29:22 2017 from 127.0.0.1

Welcome to Alibaba Cloud Elastic Compute Service !

[hadoop@iZwz9b62gfdv0s2e67yo8kZ ~]$ exit
logout
Connection to localhost closed.
[hadoop@iZwz9b62gfdv0s2e67yo8kZ .ssh]$ 

---

安裝hadoop2

下載地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.2/ 。
下載 hadoop-2.7.2.tar.gz 和 hadoop-2.7.2.tar.gz.mds 文件，保存在/data/install_package/hadoop。

其中hadoop-2.x.y.tar.gz.mds文件是用來檢查hadoop-2.x.y.tar.gz 文件的完整性的。
如果文件發生了損壞或下載不完整，Hadoop 將無法正常運行。相關命令如下：

cd /data/install_package/hadoop
head -n 6 hadoop-2.7.2.tar.gz.mds
md5sum hadoop-2.7.2.tar.gz | tr "a-z" "A-Z"

若hadoop-2.x.y.tar.gz不完整，則這兩個值差別很大

我們選擇將 Hadoop 安裝至 /data/hadoop/ 中

sudo tar -zxf /data/install_package/hadoop/hadoop-2.6.0.tar.gz -C /data/hadoop
cd /data/hadoop/
sudo mv ./hadoop-2.7.2/ ./hadoop
# 賦予權限，hadoop組及hadoop用戶前面已經配置
sudo chown -R hadoop:hadoop ./hadoop

Hadoop 解壓后即可使用。輸入hadoop version，成功會顯示版本信息

---

hadoop單機配置(非分布式)

Hadoop 默認為非分布式模式，非分布式即單 Java 進程。

Hadoop 默認附帶了豐富的例子，包括 wordcount、terasort、join、grep 等。執行下面命令可以查看：

在此我們選擇運行 grep 例子，將 input 文件夾中的所有文件作為輸入，篩選當中符合正則表達式 dfs[a-z.]+ 的單詞並統計出現的次數，最后輸出結果到 output 文件夾中。

cd /data/hadoop
mkdir ./input

# 將配置文件作為輸入文件
cp ./etc/hadoop/*.xml ./input  
# 篩選符合規則的單詞並統計其出現次數
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

# 查看運行結果
[hadoop@iZwz9b62gfdv0s2e67yo8kZ hadoop]$ cat ./output/*          
1	dfsadmin

若運行出現 WARN 提示【WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable】，可以忽略，不會影響 Hadoop 正常運行（可通過編譯 Hadoop 源碼解決，詳見：http://www.cnblogs.com/wuren/p/3962511.html）。

注意，Hadoop 默認不會覆蓋結果文件，因此再次運行上面實例會提示出錯，需要先將 ./output 刪除。

---

hadoop偽分布式配置

Hadoop 可以在單節點上以偽分布式方式運行，配置偽分布式前，我們需設置HADOOP環境變量。

# 編輯profile
vim /etc/profile

# 文件末尾新增
export HADOOP_HOME=/data/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# 使配置生效
source /etc/profile

然后修改HADOOP核心配置文件，文件位於 /data/hadoop/etc/hadoop/ 中。
偽分布式需要修改2個配置文件 core-site.xml 和 hdfs-site.xml。

修改配置文件 core-site.xml：

# 默認配置
<configuration>
</configuration>

# 修改為
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同樣修改配置文件 hdfs-site.xml：

# 默認配置
<configuration>
</configuration>

# 修改為
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

hadoop配置文件詳解可查看官方文檔，也可以移步：http://www.iyunv.com/thread-17698-1-1.html

配置完成后，格式化NameNode

./bin/hdfs namenode -format

成功的話，會看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若為 “Exitting with status 1” 則是出錯。

接着開啟 NaneNode 和 DataNode 守護進程：

./sbin/start-dfs.sh

若出現如下 SSH 的提示 “Are you sure you want to continue connecting”，輸入 yes 即可。
啟動時可能會有 WARN 提示 "WARN util.NativeCodeLoader…"，如前面提到的，這個提示不會影響正常使用。

啟動完成后，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下進程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 沒有啟動，請運行 sbin/stop-dfs.sh 關閉進程，然后再次嘗試啟動嘗試）。如果沒有 NameNode 或 DataNode ，那就是配置不成功，請仔細檢查之前步驟，或通過查看啟動日志排查原因。

[hadoop@iZwz9b62gfdv0s2e67yo8kZ hadoop]$ jps
20339 SecondaryNameNode
20166 DataNode
20027 NameNode
15375 Jps

通過查看啟動日志分析啟動失敗原因
有時 Hadoop 無法正確啟動，如 NameNode 進程沒有順利啟動，這時可以查看啟動日志來排查原因，注意幾點：

• 啟動時會提示形如 “dblab: starting namenode, logging to /data/hadoop/logs/hadoop-hadoop-namenode-iZwz9b62gfdv0s2e67yo8kZ.out”，其中 iZwz9b62gfdv0s2e67yo8kZ 對應你的主機名，但啟動的日志信息是記錄在 /data/hadoop/logs/hadoop-hadoop-namenode-iZwz9b62gfdv0s2e67yo8kZ.log 中，所以應該查看這個后綴為 .log 的文件；
• 每一次的啟動日志都是追加在日志文件之后，所以得拉到最后面看，看下記錄的時間就知道了。
• 一般出錯的提示在最后面，也就是寫着 Fatal、Error 或者 Java Exception 的地方。
• 可以在網上搜索一下出錯信息，看能否找到一些相關的解決方法。

成功啟動后，可以訪問 Web 界面 http://ip:50070 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件。

---

運行hadoop偽分布式實例

上面的單機模式，grep 例子讀取的是本地數據，偽分布式讀取的則是 HDFS 上的數據。要使用 HDFS，首先需要在 HDFS 中創建用戶目錄：

./bin/hdfs dfs -mkdir -p /user/hadoop

接着將 ./etc/hadoop 中的 xml 文件作為輸入文件復制到分布式文件系統中，即將 /data/hadoop/etc/hadoop 復制到分布式文件系統中的 /user/hadoop/input 中。我們使用的是 hadoop 用戶，並且已創建相應的用戶目錄 /user/hadoop ，因此在命令中就可以使用相對路徑如 input，其對應的絕對路徑就是 /user/hadoop/input:

./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

復制完成后，可以通過如下命令查看 HDFS 中的文件列表：

./bin/hdfs dfs -ls input

偽分布式運行 MapReduce 作業的方式跟單機模式相同，區別在於偽分布式讀取的是HDFS中的文件（可以將單機步驟中創建的本地 input 文件夾，輸出結果 output 文件夾都刪掉來驗證這一點）。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 查看運行結果的命令（查看的是位於HDFS中的輸出結果）
./bin/hdfs dfs -cat output/*

# 結果如下
1	dfsadmin
1	dfs.replication
1	dfs.namenode.name.dir
1	dfs.datanode.data.dir

我們也可以將運行結果取回到本地：

rm -r ./output    # 先刪除本地的 output 文件夾（如果存在）
./bin/hdfs dfs -get output ./output
cat ./output/*

運行程序時，輸出目錄不能存在。在實際開發應用程序時，可考慮在程序中加上如下代碼，能在每次運行時自動刪除輸出目錄，避免繁瑣的命令行操作.

Configuration conf = new Configuration();
Job job = new Job(conf);
 
/* 刪除輸出目錄 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);

若要關閉 Hadoop，則運行

./sbin/stop-dfs.sh

下次啟動 hadoop 時，無需進行 NameNode 的初始化，只需要運行 ./sbin/start-dfs.sh 即可

---

啟動YARN

偽分布式不啟動 YARN 也可以，一般不會影響程序執行。

有的人可能會疑惑，怎么啟動 Hadoop 后，見不到書上所說的 JobTracker 和 TaskTracker，這是因為Hadoop2使用了新的 MapReduce 框架（MapReduce V2，也稱為 YARN，Yet Another Resource Negotiator）。

YARN 是從 MapReduce 中分離出來的，負責資源管理與任務調度。YARN 運行於 MapReduce 之上，提供了高可用性、高擴展性，YARN 的更多介紹在此不展開，有興趣的可移步：http://blog.chinaunix.net/uid-28311809-id-4383551.html

上述通過 ./sbin/start-dfs.sh 啟動 Hadoop，僅僅是啟動了 MapReduce 環境，我們可以啟動 YARN ，讓 YARN 來負責資源管理與任務調度。

首先修改配置文件 mapred-site.xml：

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
vim ./etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

然后就可以啟動YARN了，當然，首先需要先執行過 ./sbin/start-dfs.sh

./sbin/start-yarn.sh      $ 啟動YARN
# 開啟歷史服務器，才能在Web中查看任務運行情況
./sbin/mr-jobhistory-daemon.sh start historyserver 

然后通過jps查看，可以看到多了 NodeManager 和 ResourceManager 兩個后台進程。

啟動 YARN 之后，運行實例的方法還是一樣的，僅僅是資源管理方式、任務調度不同。觀察日志信息可以發現，不啟用 YARN 時，是 “mapred.LocalJobRunner” 在跑任務，啟用 YARN 之后，是 “mapred.YARNRunner” 在跑任務。啟動 YARN 有個好處是可以通過 Web 界面查看任務的運行情況：http://ip:8088/cluster

但 YARN 主要是為集群提供更好的資源管理與任務調度，然而這在單機上體現不出價值，反而會使程序跑得稍慢些。因此在單機上是否開啟 YARN 就看實際情況了。

不啟動 YARN 需重命名 mapred-site.xml。
如果不想啟動 YARN，務必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用時改回來就行。否則在該配置文件存在，而未開啟 YARN 的情況下，運行程序會提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的錯誤，這也是為何該配置文件初始文件名為 mapred-site.xml.template。

---

鏈接相關

大數據進階計划
http://wangxin123.com/2017/02/18/大數據進階計划/

hadoop2下載地址
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.2/

Yarn簡單介紹及內存配置
http://blog.chinaunix.net/uid-28311809-id-4383551.html

hadoop配置文件詳解
http://www.iyunv.com/thread-17698-1-1.html