hadoop啟動jobhistoryserver


  hadoop啟動jobhistoryserver來實現web查看作業的歷史運行情況,由於在啟動hdfs和Yarn進程之后,jobhistoryserver進程並沒有啟動,需要手動啟動,啟動的方法是通過:

mr-jobhistory-daemon.sh start historyserver 命令還啟動。

  由於前面有過一篇通過web查看job的運行情況的文章(文章的出處:http://www.cnblogs.com/ljy2013/p/4485949.html),文中介紹的是當作業在運行時,如何通過web查看job的運行情況,當job運行完之后,就無法查看,這是由於集群的historyserver 進程沒有啟動。因此需要手動啟動。

  我在啟動的時候出現錯誤:

  mnvaild maxumum heap size :-Xmx1000

  ERROR:could not create the java Virtual Machine   如下圖所示:

  

  通過查看執行的腳本mr-jobhistory-daemon.sh的內容,發現腳本文件中的內容並未涉及到maxumum heap size的問題,於是可能是腳本文件中調用的其他文件所導致的,如下圖所示:

  

由於mapred-config.sh 腳本文件並未發現,因此只有mapred-env.sh 腳本文件中出現的問題。於是查看mapred-env.sh 腳本文件,如下圖所示:

該文該中隊jobhistoryserver的堆棧大小進行了設置,

 HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默認單位是M,因此在設置的時候不需要添加任何的單位,默認設置的值是1000,於是我將該值設置為100。再執行
      mr-jobhistory-daemon.sh start historyserver
此時,執行historyserver啟動成功,這時候就可以點擊web頁面上的job最右邊的history的選項,進入作業歷史運行界面,查看歷史運行信息,包括:運行了多少個map,多少個reduce,多少個counters等等。
意義:設置查看歷史作業信息的目的是在執行完之后可以查看運行的情況,從而了解程序的執行能在自己的預料之中進行運行。否則就可以很快的定位問題的所在。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM