airflow
教程：https://airflow.apache.org/docs/stable/index.html 官网： http://airflow.incubator.apache.org/index.html airflow源码：https://github.com/apache ...
原文：Airflow教程-使用Airflow实现ETL调度
一 Airflow是什么 airflow 是一个编排 调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为由tasks组成的DAGs 有向无环图 ，调度器在一组workers上按照指定的依赖关系执行tasks。同时，airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作 ...
2019-07-30 15:08 0 3723 推荐指数：
相关推荐
Airflow 调度基础
1. Airflow Airflow是一个调度、监控工作流的平台。用于将一个工作流制定为一组任务的有向无环图（DAG），并指派到一组计算节点上，根据相互之间的依赖关系，有序执行。 2. 安装 pip安装airflow： pip3 install apache-airflow ...
airflow使用SimpleHttpOperator实现http调用任务
使用SimpleHttpOperator作为处理器的时候，会发现默认访问的地址www.google.com端口为443 例如下面这样定义的任务 在运行的时候会抛出如下异常: 说明http请求的host需要进行配置，不然默认访问谷歌域名. 查看源码: http_hook.py ...
airflow使用mysql数据库，LocalExecutor并发调度(1)
安装Mysql (否则后面 pip install mysql) 无法安装 #ubuntu sudo apt-get install libmysqlclient-dev pip 依赖： airflow ...
Airflow 入门及使用
Airflow 入门及使用 Airflow 入门及使用 什么是 Airflow？ Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed acyclic graph ...
Airflow安装与使用
...
3.Airflow使用
1. airflow简介 2. 相关概念 2.1 服务进程 2.1.1. web server 2.1.2. scheduler 2.1.3. worker 2.1.4. celery flower 2.2 相关概念 2.2.1. dag ...
airflow使用及原理
Airflow 入门及使用 什么是 Airflow？ Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed ...