參考:
Airflow 是什么?
使用Python語言編寫的 data pipeline 調度和監控工作流的平台,是通過DAG(Directed acyclic graph 有向無環圖)來管理任務流程的任務調度工具。
Airflow 解決哪些問題?
crontab 可以很好地處理定時執行任務的需求,但僅能管理時間上的依賴。
而Airflow的核心概念是DAG(有向無環圖),因此可以解決任務間的依賴問題,也同樣支持完整的crontab表達式。
Airflow 安裝配置
1.安裝airflow
pip install apache-airflow
2.指定airflow目錄
export AIRFLOW_HOME=/Users/xuzhanhong/Development/airflow
3.初始化數據庫
airflow db init
初始化成功之后就可以在airflow目錄下看到自動生成以下幾個文件:
Web UI
創建賬戶:
# 直接參考官方文檔
airflow users create \
--username admin \
--firstname Peter \
--lastname Parker \
--role Admin \
--email spiderman@superhero.org
接着就會彈出讓你設置用戶密碼:
123456
創建完用戶后,通過輸入以下命令,即可啟動Web UI界面:
airflow webserver
默認訪問鏈接:http://0.0.0.0:8080
輸入剛剛創建的用戶賬戶及密碼,即可進入主頁:
