一.前提：
三台虛擬機（靜態IP，關閉防火牆，修改主機名，配置免密登錄，集群時間同步） --前面的文章已經提過了，不再贅述。
二.在/opt目錄下創建文件夾
mkdir -p /opt/lagou/software --軟件安裝包存放目錄
mkdir -p /opt/lagou/servers --軟件安裝目錄
三.Hadoop下載地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
四.上傳hadoop安裝文件到/opt/lagou/software
用xftp 即可
五.進入目錄后解壓
tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
添加環境變量：
vim /etc/profile ##HADOOP_HOME export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
使環境變量生效
source /etc/profile
驗證是否安裝，配置環境變量成功：
adoop version
六.Hadoop目錄介紹：
1. bin目錄:對Hadoop進行操作的相關命令，如hadoop,hdfs等 2. etc目錄：Hadoop的配置文件目錄，入hdfs-site.xml,core-site.xml等 3. lib目錄：Hadoop本地庫（解壓縮的依賴） 4. sbin目錄：存放的是Hadoop集群啟動停止相關腳本，命令 5. share目錄：Hadoop的一些jar,官方案例jar，文檔等
七.集群配置:
Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置
HDFS集群配置 1. 將JDK路徑明確配置給HDFS（修改hadoop-env.sh） 2. 指定NameNode節點以及數據存儲目錄（修改core-site.xml） 3. 指定SecondaryNameNode節點（修改hdfs-site.xml） 4. 指定DataNode從節點（修改etc/hadoop/slaves文件，每個節點配置信息占一行） MapReduce集群配置 1. 將JDK路徑明確配置給MapReduce（修改mapred-env.sh） 2. 指定MapReduce計算框架運行Yarn資源調度框架（修改mapred-site.xml） Yarn集群配置 1. 將JDK路徑明確配置給Yarn（修改yarn-env.sh） 2. 指定ResourceManager老大節點所在計算機節點（修改yarn-site.xml） 3. 指定NodeManager節點（會通過slaves文件內容確定）
八.集群配置的具體內容
1）.HDFS集群配置
配置：hadoop-env.sh 將JDK路徑明確配置給HDFS vim hadoop-env.sh export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
指定NameNode節點以及數據存儲目錄（修改core-site.xml） vim core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://linux121:9000</value> </property> <!-- 指定Hadoop運行時產生文件的存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value> </property>
指定secondarynamenode節點(修改hdfs-site.xml) vim hdfs-site.xml <!-- 指定Hadoop輔助名稱節點主機配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>linux123:50090</value> </property> <!--副本數量 --> <property> <name>dfs.replication</name> <value>3</value> </property
指定datanode從節點(修改slaves文件，每個節點配置信息占一行) --注意：該文件中添加的內容結尾不允許有空格，文件中不允許有空行。 vim slaves linux121 linux122 linux123
2).MapReduce集群配置
指定MapReduce使用的jdk路徑（修改mapred-env.sh） vim mapred-env.sh export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
指定MapReduce計算框架運行Yarn資源調度框架(修改mapred-site.xml) 注意：因為mapred-s是模板名故需要改下名字 mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定MR運行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
Yarn集群配置 指定JDK路徑 vim yarn-env.sh export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231 指定ResourceMnager的master節點信息(修改yarn-site.xml) vim yarn-site.xml <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>linux123</value> </property> <!-- Reducer獲取數據的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
注意：
Hadoop安裝目錄所屬用戶和所屬用戶組信息，默認是501 dialout，而我們操作Hadoop集群的用戶使
用的是虛擬機的root用戶，
所以為了避免出現信息混亂，修改Hadoop安裝目錄所屬用戶和用戶組
chown -R root:root /opt/lagou/servers/hadoop-2.9.2
九.分發配置：
編寫集群分發腳本rsync-script（rsync 遠程同步工具）
rsync主要用於備份和鏡像。具有速度快、避免復制相同內容和支持符號鏈接的優點。
rsync和scp區別：用rsync做文件的復制要比scp的速度快，rsync只對差異文件做更新。scp是把所有文
件都復制過去。
1. 基本語法
rsync -rvl $pdir/$fname $user@$host:$pdir/
rsync -rvl $pdir/$fname $user@$host:$pdir/
--選項參數說明
| 選項 | 功能 |
| -r | 遞歸 |
| -v | 顯示復制過程 |
| -l | 拷貝符號連接 |
三台虛擬機安裝rsync (執行安裝需要保證機器聯網)
yum install -y rsync
集群分發腳本編寫
#!/bin/bash #1 獲取命令輸入參數的個數，如果個數為0，直接退出命令 paramnum=$# if((paramnum==0)); then echo no params; exit; fi #2 根據傳入參數獲取文件名稱 p1=$1 file_name=`basename $p1` echo fname=$file_name #3 獲取輸入參數的絕對路徑 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 獲取用戶名稱 user=`whoami` #5 循環執行rsync for((host=121; host<124; host++)); do echo ------------------- linux$host -------------- rsync -rvl $pdir/$file_name $user@linux$host:$pdir done
修改腳本 rsync-script 具有執行權限
chmod 777 rsync-script 用腳本分發Hadoop安裝目錄到其它節點： rsync-script /opt/lagou/servers/hadoop-2.9.2
十.集群啟動：
1.首次啟動需要格式化：hadoop namenode -format
2.啟動HDFS：sbin/start-dfs.sh
3.jps 查看java進程，看進程是否起來了
4.啟動YARN：sbin/start-yarn.sh
訪問路徑：證明啟動成功：
注意：NameNode和ResourceManger不是在同一台機器，不能在NameNode上啟動 YARN，應該在ResouceManager所在的機器上啟動YARN。
十一：Hadoop集群啟動停止命令匯總
整體啟動/停止HDFS start-dfs.sh / stop-dfs.sh 整體啟動/停止YARN start-yarn.sh / stop-yarn.sh
十二：集群測試：
1. HDFS 分布式存儲初體驗 從linux本地文件系統上傳下載文件驗證HDFS集群工作正常 hdfs dfs -mkdir -p /test/input #本地hoome目錄創建一個文件 cd /root vim test.txt hello hdfs #上傳linxu文件到Hdfs hdfs dfs -put /root/test.txt /test/input #從Hdfs下載文件到linux本地 hdfs dfs -get /test/input/test.txt
MapReduce 分布式計算初體驗 在HDFS文件系統根目錄下面創建一個wcinput文件夾 hdfs dfs -mkdir /wcinput 在/root/目錄下創建一個wc.txt文件(本地文件系統) cd /root/ touch wc.txt vim wc.txt 在文件中輸入如下內容: hadoop mapreduce yarn hdfs hadoop mapreduce mapreduce yarn lagou lagou lagou 上傳wc.txt到Hdfs目錄/wcinput下 hdfs dfs -put wc.txt /wcinput 回到Hadoop目錄/opt/lagou/servers/hadoop-2.9.2 執行程序: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput 查看結果: hdfs dfs -cat /wcoutput/part-r-00000
十三;配置歷史服務器：
在Yarn中運行的任務產生的日志數據不能查看，為了查看程序的歷史運行情況，需要配置一下歷史日志
服務器。具體配置步驟如下：
1. 配置mapred-site.xml vi mapred-site.xml 在該文件里面增加如下配置。 <!-- 歷史服務器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>linux121:10020</value> </property> <!-- 歷史服務器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>linux121:19888</value> </property> 2.分發mapred-site.xml到其它節點 rsync-script mapred-site.xml 3. 啟動歷史服務器 sbin/mr-jobhistory-daemon.sh start historyserver 4.查看歷史服務器是否啟動 jps 5. 查看JobHistory http://linux121:19888/jobhistory
十三：配置日志的聚集
日志聚集：應用(Job)運行完成以后，將應用運行日志信息從各個task匯總上傳到HDFS系統上。 日志聚集功能好處：可以方便的查看到程序運行詳情，方便開發調試。 注意：開啟日志聚集功能，需要重新啟動NodeManager 、ResourceManager和 HistoryManager。 開啟日志聚集功能具體步驟如下： 1. 配置yarn-site.xml vi yarn-site.xml 在該文件里面增加如下配置。 <!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留時間設置7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> 2. 分發yarn-site.xml到集群其它節點 rsync-script yarn-site.xml 3. 關閉NodeManager 、ResourceManager和HistoryManager [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager [root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver 4.啟動NodeManager 、ResourceManager和HistoryManager [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start resourcemanager [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start nodemanager [root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver 5. 刪除HDFS上已經存在的輸出文件 bin/hdfs dfs -rm -R /wcoutput 6. 執行WordCount程序 hadoop jar share/hadoop/mapreduce/hadoopmapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput 7.查看日志 http://linux121:19888/jobhistory
