项目结构 模块 dolphinscheduler-ui 前端页面模块 dolphinscheduler-server 核心模块。包括master/worker等功能 dolphinscheduler-common 公共模块。公共方法或类 ...

系统架构设计 在对调度系统架构说明之前，我们先来认识一下调度系统常用的名词 1.名词解释 DAG： 全称Directed Acyclic Graph，简称DAG。工作流中的Task任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。举例如下图： dag示例 ...

先简单总结下MasterServier服务的启动流程： 初始化netty服务器，并启动 通过zookeeper客户端Curator创建一个znode临时节点 /dolphinscheduler/nodes/master/<ip>:<port>，如果主机 ...

海豚调度器（dolphinscheduler）的容错，如图： 容错有两种情况：一是启动第一个master的时候，该master节点扫描processInstance表里面正在还在执行状态的processInstance重新生成command命令，同时将该条processInstance记录 ...

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 近日，伯毅同学给社区贡献了工作流核心表结构的剖析文章，非常细致，喜欢的伙伴请转走 1. 工作流总体 ...

DolphinScheduler源码分析 本博客是基于1.2.0版本进行分析，与最新版本的实现有一些出入，还请读者辩证的看待本源码分析。具体细节可能描述的不是很准确，仅供参考 源码版本 1.2.0 技术框架 所有模块均采用比较流行的SprintBoot框架 架构图 重要 ...

　　DolphinScheduler在2020年2月24日发布了新版本1.2.1，从版本号就可以看出，这是一个小版本。主要涉及BUG修复、功能增强、新特性三个方面，我们会根据其发布内容，做简要的源码分析。 　　由于涉及内容较多，前端功能不再分析。 Worker Server日志脱敏 　　主要 ...

DolphinScheduler源码分析之任务日志 任务日志打印在调度系统中算是一个比较重要的功能，下面就简要分析一下其打印的逻辑和前端页面查询的流程。 AbstractTask 所有的任务都会继承AbstractTask，这个抽象类有一个比较重要的字段就是logger，其实也就是一个 ...