Airflow 重跑dag中部分失敗的任務


重跑dag中部分失敗的任務

例如 dagA 中, T1 >> T2 >> T3 >> T4 >> T5  ,其中 T1 T2 成功, T3 失敗, T4  T5因為依賴 T3,也不會運行。

跳過 T1   T2  重跑 T3 T4 T5 的方法是:

(1)點擊 T3 clear ,默認會clear T4  T5 的狀態

(2)返回到上一級,點擊 dagA 名字,點擊 Recursive 和 Downstream (airflow的界面,看不出來到底有沒有選擇,反正各點一次,  Uncheck ),然后點擊 run

這方法只對 subdag 有用

還有就是airflow1.8   1.9  中,如果使用 subdag ,那么 pool 中設置的 slot 是無效的,算是一個 airflow 的bug

airflow1.10 中,沒有去修復這個bug,而是在subdag 默認是使用 順序(串行)執行, 非並行方式執行。如果一定要並行,

需要自己指定為CeleryOperator

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM