hadoop配置歷史服務器&&配置日志聚集


配置歷史服務器

1、在mapred-site.xml中寫入一下配置

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>

2、查看啟動歷史服務器文件目錄

  在Hadoop安裝目錄中的sbin中有mr-jobhistory-daemon.sh命令

3、啟動歷史服務器

  mr-jobhistory-daemon.sh start  historyserver

4、查看歷史服務器是否啟動

  jps

  是否有

  historymanager進程

5、查看 jobhistory

  http://192.168.1.101:19888/jobhistory

-----------------------------------------------------------------------------------------

配置日志聚集

1、配置yarn-site.xml文件

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留時間設置 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

2、關閉nodemanager、resourcemanager、historymanager

  yarn-daemon.sh stop resourcemanager

  yarn-daemon.sh stop nodemanager

  mr-jobhistory-daemon.sh stop historyserver

3、啟動nodemanager、resourcemanager、historymanager

  yarn-daemon.sh start resourcemanager

  yarn-daemon.sh start nodemanager

  mr-jobhistory-daemon.sh start historyserver

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM