在編寫spark 程序時,有時需要獲取job id 進行記錄。 只需在程序中加入:
sc.applicationId res0: String = app-20150224184813-11531
每個job提交后, 均有自己的監控頁面。
采用spark restful api 監控job時,如:
curl 127.0.0.1:4040/api/v1/applications 時, 只能獲取一個application的狀態,這是因為,同時提交多個任務的的時候,默認的端口是從4040開始遞增的,
即,第二個application 的端口是4041....
使用8080端口,即spark web的端口,可以列舉所有的application,包括已經運行結束的。 若要查看某個具體的application的運行狀態,
使用
curl 127.0.0.1:8080/api/v1/applications/appid 即可。