hadoop啟動jobhistoryserver來實現web查看作業的歷史運行情況,由於在啟動hdfs和Yarn進程之后,jobhistoryserver進程並沒有啟動,需要手動啟動,啟動的方法是通過:
mr-jobhistory-daemon.sh start historyserver 命令還啟動。
由於前面有過一篇通過web查看job的運行情況的文章(文章的出處:http://www.cnblogs.com/ljy2013/p/4485949.html),文中介紹的是當作業在運行時,如何通過web查看job的運行情況,當job運行完之后,就無法查看,這是由於集群的historyserver 進程沒有啟動。因此需要手動啟動。
我在啟動的時候出現錯誤:
mnvaild maxumum heap size :-Xmx1000
ERROR:could not create the java Virtual Machine 如下圖所示:
通過查看執行的腳本mr-jobhistory-daemon.sh的內容,發現腳本文件中的內容並未涉及到maxumum heap size的問題,於是可能是腳本文件中調用的其他文件所導致的,如下圖所示:
由於mapred-config.sh 腳本文件並未發現,因此只有mapred-env.sh 腳本文件中出現的問題。於是查看mapred-env.sh 腳本文件,如下圖所示:
該文該中隊jobhistoryserver的堆棧大小進行了設置,
HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默認單位是M,因此在設置的時候不需要添加任何的單位,默認設置的值是1000,於是我將該值設置為100。再執行
mr-jobhistory-daemon.sh start historyserver
此時,執行historyserver啟動成功,這時候就可以點擊web頁面上的job最右邊的history的選項,進入作業歷史運行界面,查看歷史運行信息,包括:運行了多少個map,多少個reduce,多少個counters等等。
意義:設置查看歷史作業信息的目的是在執行完之后可以查看運行的情況,從而了解程序的執行能在自己的預料之中進行運行。否則就可以很快的定位問題的所在。