如何通過web查看job的運行情況


  當我們將作業提交到hadoop 的集群上之后,我們會發現一個問題就是無法通過web查看job運行情況,比如啟動了多少個map任務,啟動多少個reduce任務啊,分配多少個conbiner等等。這些信息都是作業在運行是可以查看的。而我的想要的就是能夠通過遠程的web可以查看到作業job的運行情況,以及它的詳細信息。下面介紹一下查看的方式:

  1、當你提交作業時,我們首先通過命令行的方式提交作業后,我們可以打開Yarn的web界面,如下圖所示:

在這個頁面上可以看到作業的提交情況,若你提交作業之后會出現如下圖所示:(請注意紅色的矩形區域部分的變化)

當ApplicationMaster啟動起來后就會看到如下圖所示:此時可以點擊ApplicationMaster進入查看作業job在運行的詳細狀態。

當作業運行完之后,我們可以看到上面第一幅圖的樣子。此時會顯示History的狀態,表示改作業已經運行完畢,如果想查看作業歷史運行信息就可以點擊History查看。若未啟動historyserver的話,是無法查看作業job的歷史記錄的。因此需要啟動作業的historyserver。啟動的方法是通過執行命令:mr-jobhistory-daemon.sh start historyserver。也可以通過mapred historyserver的方式來啟動。

在這之前必須要在mapred-site.xml中配置相應的參數:

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}
                         /history/done_intermediate</value>
</property>

<property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/tmp/hadoop-yarn/staging</value>
</property>

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM