Sqoop 使用详解（内含对官方文档的解析）
Sqoop 是 Cloudera 公司创造的一个数据同步工具，现在已经完全开源了。 目前已经是 hadoop 生态环境中数据迁移的首选，另外还有 ali 开发的 DataX 属于同类型工具，由于社区的广泛使用和文档的健全，调研之后决定使用 Sqoop 来做我们之后数据同步的工具。 我们首先来 ...
原文：Airflow 使用随笔（内含 TimeZone 和 Backfill 等的详解）
其实怎么部署 airflow 又哪些特性，然后功能又是如何全面都可以在 Reference 的文章里面找到，都不是重点这里就不赘述了。 这里重点谈一下我在部署完成仔细阅读文档之后觉得可以总结的一些东西，或者踩到的一些坑。 首选明确 airflow 中最重要的几个概念： DAG DAG 意为有向无循环图，在 Airflow 中则定义了整个完整的作业。同一个 DAG 中的所有 Task 拥有相同的调度 ...
2018-12-11 12:16 0 4161 推荐指数：
相关推荐
Airflow教程-使用Airflow实现ETL调度
一、Airflow是什么 airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为由tasks组成的DAGs(有向无环图)，调度器在一组workers上按照指定 ...
Airflow 入门及使用
Airflow 入门及使用 Airflow 入门及使用 什么是 Airflow？ Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed acyclic graph ...
Airflow安装与使用
...
3.Airflow使用
1. airflow简介 2. 相关概念 2.1 服务进程 2.1.1. web server 2.1.2. scheduler 2.1.3. worker 2.1.4. celery flower 2.2 相关概念 2.2.1. dag ...
airflow使用及原理
Airflow 入门及使用 什么是 Airflow？ Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed ...
airflow使用本地时区
在airflow中使用的时间是utc时间，而更多时候我们希望的是使用本地时间，于是在定义airflow定时任务的时候，涉及到了时间的转换。 1.python中本地时间和utc时间的转换 查看国内可用时区: 方式一: 修改配置文件airflow.conf使用操作系统时间 方式 ...
TimeZone
八、java.util.TimeZone Java中的java.util.TimeZone类用于表达时区，当你进行跨时区的java.util.Calendar的计算时，可以尝试使用java.util.TimeZone来连接不同时区的calendar。 注意：在Java 8中日期时间功能中，时区 ...