spark 獲取applicationID


在編寫spark 程序時,有時需要獲取job id 進行記錄。 只需在程序中加入:

sc.applicationId
res0: String = app-20150224184813-11531

每個job提交后, 均有自己的監控頁面。

采用spark restful api 監控job時,如:

curl 127.0.0.1:4040/api/v1/applications  時, 只能獲取一個application的狀態,這是因為,同時提交多個任務的的時候,默認的端口是從4040開始遞增的,

即,第二個application 的端口是4041....

使用8080端口,即spark web的端口,可以列舉所有的application,包括已經運行結束的。 若要查看某個具體的application的運行狀態,

使用  

curl 127.0.0.1:8080/api/v1/applications/appid  即可。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM