airflow 的安裝與配置（1）

 

使用請參考官網： https://airflow.apache.org/

 

具體配置，依賴，可以參考：https://www.jianshu.com/p/5c17846835e7

0. 環境：

python  3.7 

 

1.設置環境變量：

默認的配置
如果不修改airflow 配置文件 $AIRFLOW_HOME/airflow.cfg，直接啟動 webserver 和 scheduler

echo "export AIRFLOW_HOME=/opt/airflow" >> ~/.bashrc
~$ source ~/.bashrc
sudo gedit ~/.bashrc

 

2.Install Apache Airflow

pip install apache-airflow==1.10.5

 

3.初始化數據庫

airflow initdb

 

4.啟動airflow (端口自己指定，不沖突就好)

airflow webserver -p  9888

airflow scheduler

 

5. 使用：

  將腳本放置 

AIRFLOW_HOME/dags 目錄下，即可