Hadoop 集群安裝（主節點安裝）

1、下載安裝包及測試文檔
切換目錄到/tmp

view plain copy
cd /tmp
下載Hadoop安裝包

view plain copy
wget http://192.168.1.100:60000/hadoop-2.6.0-cdh5.4.5.tar.gz
下載JDK安裝包

view plain copy
wget http://192.168.1.100:60000/jdk-7u75-linux-x64.tar.gz
下載實驗測試數據

view plain copy
wget http://192.168.1.100:60000/word.txt
2、安裝Java JDK
這里安裝的版本是jdk-7u75-linux-x64.tar.gz；

當前是普通用戶，超級管理員才能對/opt目錄進行操作，所有要使用sudo命令獲取獲取特權才能成功解壓； 命令將其解壓到/opt目錄下：

view plain copy
sudo tar -zxvf /tmp/jdk-7u75-linux-x64.tar.gz -C /opt/
並將解壓后的文件夾jdk-7u75-linux-x64改名為java：

view plain copy
sudo mv /opt/jdk1.7.0_75 /opt/java
修改java目錄的所屬用戶和所屬組：

view plain copy
sudo chown -R zhangyu.zhangyu /opt/java
jdk安裝完配置環境變量，編輯/etc/profile：

view plain copy
sudo vim /etc/profile
在文檔末端添加如下內容：

view plain copy
export JAVA_HOME=/opt/java
export PATH=\(JAVA_HOME/bin:\)PATH
刷新環境變量：

view plain copy
source /etc/profile
刷新環境變量后，可以通過java的家目錄找到java可使用的命令。 利用java查看版本號命令驗證是否安裝成功：

view plain copy
java -version
正常結果顯示如下：

3、Hadoop安裝
這里安裝的版本是hadoop-2.6.0-cdh5.4.5.tar.gz；命令將其解壓到/opt目錄下：

view plain copy
sudo tar -zxvf /tmp/hadoop-2.6.0-cdh5.4.5.tar.gz -C /opt/
並將解壓后的文件夾hadoop-2.6.0-cdh5.4.5改名為hadoop：

view plain copy
sudo mv /opt/hadoop-2.6.0-cdh5.4.5 /opt/hadoop
修改hadoop目錄的所屬用戶和所屬組：

view plain copy
sudo chown -R zhangyu.zhangyu /opt/hadoop
jdk安裝完配置環境變量，編輯/etc/profile：

view plain copy
sudo vim /etc/profile
末端添加如下內容：

view plain copy
export HADOOP_HOME=/opt/hadoop
export PATH=\(HADOOP_HOME/bin:\)PATH
刷新環境變量：

view plain copy
source /etc/profile
利用hadoop查看版本號命令驗證是否安裝成功：

view plain copy
hadoop version
正常結果顯示如下：

4、修改hosts文件
獲取網卡信息得命令有：ifconfig 和 ip a ；使用獲取網卡信息得命令，查看到當前節點的IP地址；編輯/etc/hosts文件：

view plain copy
sudo vim /etc/hosts
添加本機IP地址對應本機映射名和其它節點IP地址對應映射名：

view plain copy
0.0.0.0 master
0.0.0.0 slave1
0.0.0.0 slave2
節點IP地址即”內網管理地址“

配置完hosts文件，可以通過映射名訪問對應的IP地址；

5、創建數據文件夾
view plain copy
sudo mkdir /data
所有者修改為當前用戶：

view plain copy
sudo chown -R zhangyu.zhangyu /data
6、修改hadoop hadoop-env.sh文件配置
view plain copy
vim /opt/hadoop/etc/hadoop/hadoop-env.sh
將JAVA_HOME修改成java所在目錄：

view plain copy
export JAVA_HOME=/opt/java/
7、修改hadoop core-site.xml文件配置
編輯core-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/core-site.xml
替換為下面的xml文本：

view plain copy

hadoop.tmp.dir /data/tmp/hadoop/tmp fs.defaultFS hdfs://master:9000/ NameNode URI 這里有兩項配置：

一項是hadoop.tmp.dir，配置hadoop處理過程中，臨時文件的存儲位置。這里的目錄/data/需要提前創建。 另一項是fs.defaultFS，配置hadoop HDFS文件系統的地址。

8、修改hadoop hdfs-site.xml文件配置
編輯hdfs-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
替換為下面的xml文本：

view plain copy

dfs.namenode.name.dir /data/tmp/hadoop/hdfs/name dfs.datanode.data.dir /data/tmp/hadoop/hdfs/data dfs.replication 1 dfs.permissions false 配置項說明：

dfs.namenode.name.dir，配置元數據信息存儲位置； dfs.datanode.data.dir，配置具體數據存儲位置； dfs.replication，配置每個數據庫備份數，由於目前我們使用1台節點，所以，設置為1，如果設置為2的話，運行會報錯。

9、修改hadoop yarn-site.xml文件配置
編輯yarn-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/yarn-site.xml
替換為下面的xml文本：

view plain copy

yarn.nodemanager.aux-services mapreduce_shuffle 這里的配置是指定所用服務。

10、修改hadoop mapred-site.xml文件配置
創建mapred-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/mapred-site.xml
輸入為下面的xml文本：

view plain copy

mapreduce.framework.name yarn 這里指定mapreduce任務處理所使用的框架。

11、修改hadoop slaves文件配置
view plain copy
vim /opt/hadoop/etc/hadoop/slaves
覆蓋寫入主節點映射名和從節點映射名：

view plain copy
master
slave1
slave2
12、創建公鑰
在zhangyu用戶下創建公鑰：

view plain copy
ssh-keygen
出現如下內容：

Enter file in which to save the key (/home/zhangyu/.ssh/id_rsa):

直接使用默認選項，回車即可，出現如下內容：

Enter passphrase (empty for no passphrase):

直接回車，出現內容：

Enter same passphrase again:

直接回車，創建完成，結果內容如下：

13、拷貝公鑰，過程中需要輸入zhangyu用戶的密碼
view plain copy
ssh-copy-id master
view plain copy
ssh-copy-id slave1
view plain copy
ssh-copy-id slave2
提示：命令執行過程中需要輸入“yes”和密碼“zhangyu”。三台節點請依次執行完成。

測試連接是否正常：

view plain copy
ssh master
輸入exit退出測試：

view plain copy
ssh slave1
輸入exit退出測試：

view plain copy
ssh slave2
輸入exit退出測試：

測試中可以看出，連接各節點時，無需輸入密碼，因為已經設置好授權秘鑰。

14、拷貝文件到所有從節點
view plain copy
scp -r /opt/java/ /opt/hadoop/ slave1:/tmp/
view plain copy
scp -r /opt/java/ /opt/hadoop/ slave2:/tmp/
至此，主節點配置完成。

以下內容在所有從節點配置完成之后繼續進行!
15、格式化分布式文件系統
在hadoop主節點執行：

view plain copy
/opt/hadoop/bin/hadoop namenode -format
16、啟動Hadoop
在hadoop主節點執行：

view plain copy
/opt/hadoop/sbin/start-all.sh
執行過程中需要輸入“yes”，允許利用公鑰連接其它機器。

17、查看Hadoop進程
在hadoop主節點執行：

view plain copy
jps
輸出結果必須包含6個進程，結果如下：

在hadoop從節點執行同樣的操作：

view plain copy
jps
輸出結果必須包含3個進程，具體如下：

18、在命令行中輸入以下代碼，打開Hadoop WebUI管理界面：
view plain copy
firefox http://master:50070
19、測試HDFS集群以及MapReduce任務程序
利用Hadoop自帶的WordCount示例程序進行檢查集群；在主節點進行如下操作，創建HDFS目錄：

view plain copy
hadoop fs -mkdir /zhangyu/
view plain copy
hadoop fs -mkdir /zhangyu/input
將測試文件上傳到到Hadoop HDFS集群目錄：

view plain copy
hadoop fs -put /tmp/word.txt /zhangyu/input
執行wordcount程序：

view plain copy
cd /opt/hadoop/share/hadoop/mapreduce/
view plain copy
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /zhangyu/input/ /zhangyu/out/
查看執行結果：

view plain copy
hadoop fs -ls /zhangyu/out/

如果列表中結果包含”_SUCCESS“文件，代碼集群運行成功。

查看具體的執行結果，可以用如下命令：

view plain copy
hadoop fs -text /zhangyu/out/part-r-00000
到此，集群安裝完成。