Airflow入門及安裝


參考:

Airflow 是什么?

使用Python語言編寫的 data pipeline 調度和監控工作流的平台,是通過DAG(Directed acyclic graph 有向無環圖)來管理任務流程的任務調度工具。

Airflow 解決哪些問題?

crontab 可以很好地處理定時執行任務的需求,但僅能管理時間上的依賴。

而Airflow的核心概念是DAG(有向無環圖),因此可以解決任務間的依賴問題,也同樣支持完整的crontab表達式。

Airflow 安裝配置

1.安裝airflow

pip install apache-airflow

2.指定airflow目錄

export AIRFLOW_HOME=/Users/xuzhanhong/Development/airflow

3.初始化數據庫

airflow db init

初始化成功之后就可以在airflow目錄下看到自動生成以下幾個文件:

Web UI

創建賬戶:

# 直接參考官方文檔
airflow users create \
    --username admin \
    --firstname Peter \
    --lastname Parker \
    --role Admin \
    --email spiderman@superhero.org

接着就會彈出讓你設置用戶密碼:

123456

創建完用戶后,通過輸入以下命令,即可啟動Web UI界面:

airflow webserver

默認訪問鏈接:http://0.0.0.0:8080

輸入剛剛創建的用戶賬戶及密碼,即可進入主頁:


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM