airflow 的安装与配置（1）

 

使用请参考官网： https://airflow.apache.org/

 

具体配置，依赖，可以参考：https://www.jianshu.com/p/5c17846835e7

0. 环境：

python  3.7 

 

1.设置环境变量：

默认的配置
如果不修改airflow 配置文件 $AIRFLOW_HOME/airflow.cfg，直接启动 webserver 和 scheduler

echo "export AIRFLOW_HOME=/opt/airflow" >> ~/.bashrc
~$ source ~/.bashrc
sudo gedit ~/.bashrc

 

2.Install Apache Airflow

pip install apache-airflow==1.10.5

 

3.初始化数据库

airflow initdb

 

4.启动airflow (端口自己指定，不冲突就好)

airflow webserver -p  9888

airflow scheduler

 

5. 使用：

  将脚本放置 

AIRFLOW_HOME/dags 目录下，即可