spark任務提交之后作業運行狀態
在spark向yarn提交作業之后,正常情況下,作業運行結束之前,狀態分為兩種,分別是:accept以及running
一、accept
該狀態表示Application已經提交給調度器。
在NEW_SAVEING轉換為SUBMITTED狀態的時候,RMAppImpl會除法StartAppAttemptTransition,這是會創建一個新的RMAppAttempt,然后新建RMAppAttemptEventType.START事件給處理器,經過RMAppAttempt處理機。當該RMAppAttempt交給度器(的某個組)后,狀態改為ACCEPTED。
二、running
AM已經啟動並注冊到RM上。兩種情況下會轉換為RUNNING狀態:
AM啟動會向RM注冊,這時候會觸發RMApplmpl狀態轉換為RUNNING。
RMAppImpl也有可能在Recovery模式下轉換為RUNNING.
三、運行流程圖
所以說,spark作業在提交之后處於accept狀態的情況下,並不會占用driver端的內存。

