原文:从 Airflow 到 Apache DolphinScheduler,有赞大数据开发平台的调度系统演进

点击上方蓝字关注我们 作者 宋哲琦 编 者 按 在不久前的 Apache DolphinScheduler Meetup 上,有赞大数据开发平台负责人宋哲琦带来了平台调度系统从 Airflow 迁移到 Apache DolphinScheduler 的方案设计思考和生产环境实践。 这位来自浙江杭州的 后年轻人自 年 月加入有赞,在这里从事数据开发平台 调度系统和数据同步组件的研发工作。刚入职时, ...

2021-12-09 18:30 0 860 推荐指数:

查看详情

从0到1搭建大数据平台调度系统

目前大数据平台经常会用来跑一些批任务,跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据,定时跑hive/spark任务,定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 记得第一次参与大数据平台从无到有的搭建,最 ...

Tue Aug 04 21:56:00 CST 2020 0 786
联童科技基于incubator-dolphinscheduler从0到1构建大数据调度平台之路

联童科技是一家智能化母婴童产业平台,从事母婴童行业以及互联网技术多年,拥有丰富的母婴门店运营和系统开发经验,在会员经营和商品经营方面,能够围绕会员需求,深入场景,更贴近合作伙伴和消费者,提供最优服务产品,公司致力于以技术来驱动母婴童产业的发展,公司也希望借助于大数据为客户提供更多智能数据 ...

Sat Feb 20 19:16:00 CST 2021 1 983
紫金大数据平台架构之路(一)----大数据任务开发调度平台架构设计

一、总体设计 初来公司时,公司还没有大数据,我是作为大数据架构师招入的,结合公司的线上和线下业务,制定了如下的大数据架构路线图。 二、大数据任务开发调度平台架构设计 在设计完总体架构后,并且搭建完hadoop/yarn的大数据底层计算平台后, 按照总体架构设计思路, 首先需要构建 ...

Tue Apr 14 01:13:00 CST 2020 0 2122
大数据调度系统学习

功能分析 内置参数 概述 为什么需要一个复杂的工作量调度器? 1、一个完整的数据分析系统通 ...

Wed Nov 10 23:43:00 CST 2021 0 113
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM