配置歷史服務器
1、在mapred-site.xml中寫入一下配置
<property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop101:19888</value> </property>
2、查看啟動歷史服務器文件目錄
在Hadoop安裝目錄中的sbin中有mr-jobhistory-daemon.sh命令
3、啟動歷史服務器
mr-jobhistory-daemon.sh start historyserver
4、查看歷史服務器是否啟動
jps
是否有
historymanager進程
5、查看 jobhistory
http://192.168.1.101:19888/jobhistory
-----------------------------------------------------------------------------------------
配置日志聚集
1、配置yarn-site.xml文件
<!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留時間設置 7 天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>
2、關閉nodemanager、resourcemanager、historymanager
yarn-daemon.sh stop resourcemanager
yarn-daemon.sh stop nodemanager
mr-jobhistory-daemon.sh stop historyserver
3、啟動nodemanager、resourcemanager、historymanager
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver