海豚調度Dolphinscheduler源碼分析（二）
項目結構 模塊 dolphinscheduler-ui 前端頁面模塊 dolphinscheduler-server 核心模塊。包括master/worker等功能 dolphinscheduler-common 公共模塊。公共方法或類 ...
原文：海豚調度DolphinScheduler源碼分析（一）
系統架構設計 在對調度系統架構說明之前，我們先來認識一下調度系統常用的名詞 .名詞解釋 DAG：全稱Directed Acyclic Graph，簡稱DAG。工作流中的Task任務以有向無環圖的形式組裝起來，從入度為零的節點進行拓撲遍歷，直到無后繼節點為止。舉例如下圖： dag示例 流程定義：通過拖拽任務節點並建立任務節點的關聯所形成的可視化DAG 流程實例：流程實例是流程定義的實例化，可以通過手 ...
2020-09-25 10:06 0 3851 推薦指數：
相關推薦
海豚調度Dolphinscheduler源碼分析（三）
今天繼續分析海豚調度的源碼 上回分析的是dolphinscheduler-service模塊zookeeper相關的代碼 這回分析是dolphinscheduler-server模塊zookeeper相關的代碼 ZkMasterClient master服務zk客戶端類 類繼承的關系 ...
海豚調度Dolphinscheduler源碼分析（四）MasterServer的啟動
先簡單總結下MasterServier服務的啟動流程： 初始化netty服務器，並啟動 通過zookeeper客戶端Curator創建一個znode臨時節點 /dolphinscheduler/nodes/master/<ip>:<port>，如果主機 ...
海豚調度器(dolphinscheduler)的容錯分析
海豚調度器（dolphinscheduler）的容錯，如圖： 容錯有兩種情況：一是啟動第一個master的時候，該master節點掃描processInstance表里面正在還在執行狀態的processInstance重新生成command命令，同時將該條processInstance記錄 ...
Apache DolphinScheduler(海豚調度) - 1.3 系列核心表結構剖析
Apache DolphinScheduler 是一個分布式去中心化，易擴展的可視化 DAG 工作流任務調度系統。致力於解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。 近日，伯毅同學給社區貢獻了工作流核心表結構的剖析文章，非常細致，喜歡的伙伴請轉走 1. 工作流總體 ...
DolphinScheduler源碼分析
DolphinScheduler源碼分析 本博客是基於1.2.0版本進行分析，與最新版本的實現有一些出入，還請讀者辯證的看待本源碼分析。具體細節可能描述的不是很准確，僅供參考 源碼版本 1.2.0 技術框架 所有模塊均采用比較流行的SprintBoot框架 架構圖 重要 ...
DolphinScheduler1.2.1源碼分析
DolphinScheduler在2020年2月24日發布了新版本1.2.1，從版本號就可以看出，這是一個小版本。主要涉及BUG修復、功能增強、新特性三個方面，我們會根據其發布內容，做簡要的源碼分析。 由於涉及內容較多，前端功能不再分析。 Worker Server日志脫敏 主要 ...
DolphinScheduler源碼分析之任務日志
DolphinScheduler源碼分析之任務日志 任務日志打印在調度系統中算是一個比較重要的功能，下面就簡要分析一下其打印的邏輯和前端頁面查詢的流程。 AbstractTask 所有的任務都會繼承AbstractTask，這個抽象類有一個比較重要的字段就是logger，其實也就是一個 ...