hadoop中的Jobhistory歷史服務器

1.  啟動腳本

mr-jobhistory-daemon.sh start historyserver

2. 配置說明

jobhistory用於查詢每個job運行完以后的歷史日志信息，是作為一台單獨的服務器運行的。可以在namenode或者datanode上的任意一台啟動即可。

默認的配置如下，但是需要手工修改為我們指定的那台服務器。

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>0.0.0.0:19888</value>
</property>

 

參數配置在mapred-site.xml文件中。如果將history服務器配置在namenode2中，修改如下:

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>dwtest-name2:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>dwtest-name2:19888</value>
</property>

 

3.日志存儲過程

jobhistory server來實現web查看作業的歷史運行情況，日志存儲的位置是在hdfs文件系統中。

當job作業在運行中時，可以直接通過web查看作業的運行狀況, 此時的記錄保存在${mapreduce.intermediate-done-dir} 路徑下。

當job作業執行完成后，會將${mapreduce.intermediate-done-dir}目錄下的日志文件移動到歷史文件夾${mapreduce.jobhistory.done-dir}中。

${mapreduce.intermediate-done-dir} 和 ${mapreduce.jobhistory.done-dir} 在mapred-site.xml中配置。

如果沒有啟動jobhistory進程，就無法查看歷史執行的明細信息。

當由於在啟動hdfs和Yarn進程之后，jobhistoryserver進程並沒有啟動，需要手動啟動。

注意: jobhistory是一個單一的歷史服務器，不需要在集群中啟動多個服務。使用時，需要在配置文件中指定一個服務器，然后啟動historyserver服務。