系統架構設計 在對調度系統架構說明之前，我們先來認識一下調度系統常用的名詞 1.名詞解釋 DAG： 全稱Directed Acyclic Graph，簡稱DAG。工作流中的Task任務以有向無環 ...

DataX 是一個異構數據源離線同步工具，致力於實現包括關系型數據庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構數據源之間穩定高效的數據同步功能。 具體 ...

聯童科技是一家智能化母嬰童產業平台，從事母嬰童行業以及互聯網技術多年，擁有豐富的母嬰門店運營和系統開發經驗，在會員經營和商品經營方面，能夠圍繞會員需求，深入場景，更貼近合作伙伴和消費者，提供最優服務產 ...

一、簡述 Apache DolphinScheduler是一個分布式去中心化，易擴展的可視化DAG工作流任務調度系統。致力於解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。有如下特性： 高可靠性 去中心化的多Master和多Worker, 自身支持HA功能 ...

先簡單總結下MasterServier服務的啟動流程： 初始化netty服務器，並啟動 通過zookeeper客戶端Curator創建一個znode臨時節點 /dolphinscheduler/nodes/master/<ip>:<port>，如果主機 ...

項目結構 模塊 dolphinscheduler-ui 前端頁面模塊 dolphinscheduler-server 核心模塊。包括master/worker等功能 dolphinscheduler-common 公共模塊。公共方法或類 ...

一、incubator-dolphinscheduler 中如何獲取shell類型的節點或者python類型的節點任務的日志 1、在org.apache.dolphinscheduler.server.worker.task.AbstractCommandExecutor 類中 ...

一、prometheus和grafana 簡介 Prometheus 是繼 Kubernetes 之后的第二個 CNCF “畢業” 項目，其監控理念傳承於由谷歌研發的一款內部監控軟件，現主要開發語言 ...

今天繼續分析海豚調度的源碼 上回分析的是dolphinscheduler-service模塊zookeeper相關的代碼 這回分析是dolphinscheduler-server模塊zookeeper相關的代碼 ZkMasterClient master服務zk客戶端類 類繼承的關系 ...

dolphin 1.6已經增加了企業微信的功能。 公司用的釘釘，那么增加功能到釘釘指定分組，可以針對分組將錯誤的任務或者被殺死的任務進行提示。 alert模塊，增加配置： 增加配置 ...