Airflow入门及安装


参考:

Airflow 是什么?

使用Python语言编写的 data pipeline 调度和监控工作流的平台,是通过DAG(Directed acyclic graph 有向无环图)来管理任务流程的任务调度工具。

Airflow 解决哪些问题?

crontab 可以很好地处理定时执行任务的需求,但仅能管理时间上的依赖。

而Airflow的核心概念是DAG(有向无环图),因此可以解决任务间的依赖问题,也同样支持完整的crontab表达式。

Airflow 安装配置

1.安装airflow

pip install apache-airflow

2.指定airflow目录

export AIRFLOW_HOME=/Users/xuzhanhong/Development/airflow

3.初始化数据库

airflow db init

初始化成功之后就可以在airflow目录下看到自动生成以下几个文件:

Web UI

创建账户:

# 直接参考官方文档
airflow users create \
    --username admin \
    --firstname Peter \
    --lastname Parker \
    --role Admin \
    --email spiderman@superhero.org

接着就会弹出让你设置用户密码:

123456

创建完用户后,通过输入以下命令,即可启动Web UI界面:

airflow webserver

默认访问链接:http://0.0.0.0:8080

输入刚刚创建的用户账户及密码,即可进入主页:


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM