關於spark任務提交狀態的理解


spark任務提交之后作業運行狀態

在spark向yarn提交作業之后,正常情況下,作業運行結束之前,狀態分為兩種,分別是:accept以及running

一、accept

    該狀態表示Application已經提交給調度器。

    在NEW_SAVEING轉換為SUBMITTED狀態的時候,RMAppImpl會除法StartAppAttemptTransition,這是會創建一個新的RMAppAttempt,然后新建RMAppAttemptEventType.START事件給處理器,經過RMAppAttempt處理機。當該RMAppAttempt交給度器(的某個組)后,狀態改為ACCEPTED。

二、running

        AM已經啟動並注冊到RM上。兩種情況下會轉換為RUNNING狀態:

AM啟動會向RM注冊,這時候會觸發RMApplmpl狀態轉換為RUNNING。

RMAppImpl也有可能在Recovery模式下轉換為RUNNING.

三、運行流程圖

      圖片

所以說,spark作業在提交之后處於accept狀態的情況下,並不會占用driver端的內存。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM