DolphinScheduler源碼分析 本博客是基於1.2.0版本進行分析,與最新版本的實現有一些出入,還請讀者辯證的看待本源碼分析。具體細節可能描述的不是很准確,僅供參考 源碼版本 1.2.0 技術框架 所有模塊均采用比較流行的SprintBoot框架 架構圖 重要 ...
DolphinScheduler源碼分析之任務日志 任務日志打印在調度系統中算是一個比較重要的功能,下面就簡要分析一下其打印的邏輯和前端頁面查詢的流程。 AbstractTask 所有的任務都會繼承AbstractTask,這個抽象類有一個比較重要的字段就是logger,其實也就是一個org.slf j.Logger對象。 也就是說所有的任務都是通過slf j打印日志的。那這個logger是如何創 ...
2020-01-20 14:47 0 2443 推薦指數:
DolphinScheduler源碼分析 本博客是基於1.2.0版本進行分析,與最新版本的實現有一些出入,還請讀者辯證的看待本源碼分析。具體細節可能描述的不是很准確,僅供參考 源碼版本 1.2.0 技術框架 所有模塊均采用比較流行的SprintBoot框架 架構圖 重要 ...
項目結構 模塊 dolphinscheduler-ui 前端頁面模塊 dolphinscheduler-server 核心模塊。包括master/worker等功能 dolphinscheduler-common 公共模塊。公共方法或類 ...
DolphinScheduler在2020年2月24日發布了新版本1.2.1,從版本號就可以看出,這是一個小版本。主要涉及BUG修復、功能增強、新特性三個方面,我們會根據其發布內容,做簡要的源碼分析。 由於涉及內容較多,前端功能不再分析。 Worker Server日志脫敏 主要 ...
系統架構設計 在對調度系統架構說明之前,我們先來認識一下調度系統常用的名詞 1.名詞解釋 DAG: 全稱Directed Acyclic Graph,簡稱DAG。工作流中的Task任務以有向無環圖的形式組裝起來,從入度為零的節點進行拓撲遍歷,直到無后繼節點為止。舉例如下圖: dag示例 ...
今天繼續分析海豚調度的源碼 上回分析的是dolphinscheduler-service模塊zookeeper相關的代碼 這回分析是dolphinscheduler-server模塊zookeeper相關的代碼 ZkMasterClient master服務zk客戶端類 類繼承的關系 ...
先簡單總結下MasterServier服務的啟動流程: 初始化netty服務器,並啟動 通過zookeeper客戶端Curator創建一個znode臨時節點 /dolphinscheduler/nodes/master/<ip>:<port>,如果主機 ...
上一篇文章是: DolphinScheduler2.0.0源碼分析過程(01) 我們接着上篇文章接着分析: ok,先截圖看一下我們目前建立的項目情況和后台數據庫情況: 下面我們開始點擊 任務運行按鈕,開始運行一次任務,后台我先只開 ...
今天這篇文章分析一下DolphinScheduler2.0.0 版本的源碼 關於如何搭建DolphinScheduler2.0.0源碼分析環境,可以參考官方網站和我之前的文章。 下面開始分析: 第一步:先在idea啟動ApiApplicationServer和MasterServer進程 ...