AirFlow功能展示個人筆記


DAGs 查看您可以一目了然地查看成功、失敗及當前正在運行的任務數量。

 

 

 選中其中一個DAG

 

 

 

樹視圖

跨越時間的 DAG 的樹表示。如果 pipeline(管道)延遲了,您可以很快地看到哪里出現了錯誤的步驟並且辨別出堵塞的進程。

 

 

 

圖表視圖

圖形視圖可能是最全面的一種表現形式了。它可以可視化您的 DAG 依賴以及某個運行實例的當前狀態。

 

 

 任務持續時間圖

過去 N 次運行的不同任務的持續時間。通過此視圖,您可以查找異常值並快速了解 DAG 在多次運行中花費的時間。

 

 

甘特圖

甘特圖可讓您分析任務持續時間和重疊情況。您可以快速識別系統瓶頸和哪些特定 DAG 在運行中花費了大量的時間。

 

 

代碼視圖

透明就是一切。雖然您的 pipeline(管道)代碼在源代碼管理中,但這是一種快速獲取 DAG 代碼並提供更多上下文的方法。

 

 

 

 

任務實例上下文菜單

從上面的頁面(樹視圖,圖形視圖,甘特圖......)中,始終可以單擊任務實例,並進入此豐富的上下文菜單,該菜單可以將您帶到更詳細的元數據並執行某些操作。

 

 

 

 任務實例細節

 

 

 

 任務實例

 

 

 

 查看日志

 

 調度周期

 

 

 

 

 

 

所有的任務實例

 

 

 

 所有作業

 

 

 

 記錄了所有DAG的運行情況

 

 

 

當有太多進程同時運行時,某些系統可能會被淹沒。Airflow 池可用於限制任意任務集上的執行並行性 。通過為池命名並為其分配多個工作槽來在 UI

 

 

連接

外部系統的連接信息存儲在 Airflow 元數據數據庫中,並在 UI 中進行管理(Menu -> Admin -> Connections)。在那里定義了conn_id ,並附加了主機名/登錄/密碼/結構信息。 Airflow 管道可以簡單地引用集中管理的conn_id而無需在任何地方硬編碼任何此類信息。

可以定義具有相同conn_id許多連接,並且在這種情況下,並且當掛鈎使用來自BaseHookget_connection方法時,Airflow 將隨機選擇一個連接,允許在與重試一起使用時進行一些基本的負載平衡和容錯。

Airflow 還能夠通過操作系統中的環境變量引用連接。但它只支持 URI 格式。如果您需要為連接指定extra信息,請使用 Web UI。

如果在 Airflow 元數據數據庫和環境變量中都定義了具有相同conn_id連接,則 Airflow 將僅引用環境變量中的連接(例如,給定conn_id postgres_master,在開始搜索元數據數據庫之前,Airflow 將優先在環境變量中搜索AIRFLOW_CONN_POSTGRES_MASTER並直接引用它)。

許多鈎子都有一個默認的conn_id,使用該掛鈎的 Operator 不需要提供顯式連接 ID。 例如,PostgresHook的默認conn_idpostgres_default 。

 

 

 

 

 

XComs

XComs 允許任務交換消息,允許更細微的控制形式和共享狀態。該名稱是“交叉通信”的縮寫。XComs 主要由鍵,值和時間戳定義,

但也跟蹤創建 XCom 的任務/DAG 以及何時應該可見的屬性。任何可以被 pickle 的對象都可以用作 XCom 值,因此用戶應該確保使用適當大小的對象。

 

 

 

 

 

變量

變量是將任意內容或設置存儲和檢索為 Airflow 中的簡單鍵值存儲的通用方法。可以從 UI(Admin -> Variables),代碼或 CLI 列出,

創建,更新和刪除變量。此外,json 設置文件可以通過 UI 批量上傳。雖然管道代碼定義和大多數常量和變量應該在代碼中定義並存儲在源代碼控制中,但是通過 UI 可以訪問和修改某些變量或配置項會很有用。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM