Apache DolphinScheduler 誕生記

DolphinScheduler，簡稱”DS”, 中文名 “小海豚調度”（海豚聰明、人性化，又左右腦可互相換班，終生不用睡覺）。希望 DolphinScheduler 就像它的名字一樣，成為一個“開箱即用”的靈活易用的調度系統。

1概述

DAG 全稱Directed Acyclic Graph，簡稱DAG。工作流中的Task任務以有向無環圖的形式組裝起來，從入度為零的節點進行拓撲遍歷，直到無后繼節點為止。

Apache DolphinScheduler（目前處在孵化階段）是一個分布式、去中心化、易擴展的可視化DAG工作流任務調度系統，其致力於解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。

DolphinScheduler是2019年開源的一個調度系統，在去年美國時間2019年8月29號，分布式任務調度引擎DolphinScheduler（原EasyScheduler）正式通過頂級開源組織Apache基金會的投票決議，以全票通過的優秀表現正式成為了Apache孵化器項目！

2背景

在2017年，易觀在運營自己6.8Pb大小、6.02億月活、每天近萬個調度任務的大數據平台時，受到ETL復雜的依賴關系、平台易用性、可維護性及二次開發等方面掣肘，易觀的技術團隊渴望找到一個具有以下功能的數據調度工具：

易於使用，開發人員可以通過非常簡單的拖拽操作構建ETL過程。不僅對於ETL開發人員，無法編寫代碼的人也可以使用此工具進行ETL操作，例如系統管理員和分析師；
解決“復雜任務依賴”問題，並且可以實時監視ETL運行狀態；
支持多租戶；
支持許多任務類型：Shell，MR，Spark，Flink，SQL（mysql，postgresql，hive，sparksql，clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure等；
支持HA和線性可擴展性。
易觀技術團隊意識到現有開源項目沒有能夠達到他們要求的，因此決定自行開發這個工具。他們在2017年底設計了DolphinScheduler的主要架構；2018年5月完成第一個內部使用版本，后來又迭代了幾個內部版本后，系統逐漸穩定下來。

3特點

DolphinScheduler提供了許多易於使用的功能，可加快數據ETL工作開發流程的效率。其主要特點如下：

• 通過拖拽以DAG 圖的方式將 Task 按照任務的依賴關系關聯起來，可實時可視化監控任務的運行狀態；
• 支持豐富的任務類型；
• 支持工作流定時調度、依賴調度、手動調度、手動暫停/停止/恢復，同時支持失敗重試/告警、從指定節點恢復失敗、Kill 任務等操作；
• 支持工作流全局參數及節點自定義參數設置；
• 支持集群HA，通過 Zookeeper實現 Master 集群和 Worker 集群去中心化；
• 支持工作流運行歷史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計；
• 支持補數，並行或串行回填數據。

4系統架構

DolphinScheduler 是從數據處理的痛點出發，其解決的問題以及優化的方向主要有以下 5 點：

• 可視化流程設計減輕了開發者配置工作流的復雜度，從繁瑣的基礎配置中解放出來，不用再靠編程來配置流程，提升開發效率；

• 擴展性強，在當下這樣一個業務變化快、技術迭代頻繁的現在，豐富的任務類型、跨語言和自定義插件機制良好的可擴展性，無疑使這款框架具備了更長的壽命和更廣泛的落地場景；

• 支持工作流定時調度、依賴調度、手動調度、手動暫停 / 停止 / 恢復，同時支持失敗重試 / 告警、從指定節點恢復失敗、Kill 任務等操作

• 支持集群 HA，通過 Zookeeper 實現 Master 集群和 Worker 集群的天然去中心化架構設計，使得系統的高可用性得到保證；

• 通過拖拽以 DAG 圖的方式將 Task 按照任務的依賴關系關聯起來，可實時可視化監控任務的運行狀態，完善的服務監控系統，方便運維人員快速進行問題定位。

目前，IBM、中國平安、美團、360、招商銀行、科大訊飛、聯通、多點、芒果tv、雪球等多家企業都已經將 Apache DolphinScheduler 應用到了實際場景中。

1.2.x 架構

5開源推進路線

萬丈高樓平地起，從項目啟動的那一刻，我們就確定了開源的目標，從那一刻，開源的種子就種在了每一位項目成員的心中，它是一個使命，
也是所有人的共識和承諾。

要采用模塊化的設計，這樣才能便於開源后的協同開發；
要選用開源的技術組件，這樣才能便於開源后讓更多的開發者參與進來；
大道至簡，一定要做到開箱即用，我們調度的名字就叫EasyScheduler。
...
就這樣，伴隨着每一位的手舞足蹈，熱情澎湃和唇槍舌劍，2017年12月在北京市朝陽區恆通商務園B12棟3層辦公室里，拉開了EasyScheduler的序幕。

使命必達、分秒必爭，每一位伙伴都自動自發、隨時待命。

2018年5月，EasyScheduler在易觀千帆成功上線使用。

2019年3月，開放給外部種子用戶使用，正式發布第一個開源版本1.0.0。

2019年5月，相繼推出了1.0.1、1.0.2和1.0.3版本。

開源的種子早已種下，只有破土而出，才能扎根於大地。
ASF作為全球最大的開源基金會，一直致力於開源軟件生態的營造，讓軟件技術能夠在全球共享，這是ASF無比耀眼的魅力所在。

我們要扎根ASF，我們要進入到全球最大的開源組織，讓我們的項目在全球共享，於是我們決定正式探索Apache開源孵化之路。

這是一個0到1的問題，這是一個需要拿到入場券資格的問題，那么如何才能夠進入Apache呢？
一個項目如果希望進入到Apache孵化器，至少需要1名Champion和2名mentor。所以我們的第一個難題就是如何找到champion和mentor.
ASF孵化器擁有導師200多位，然而活躍的中國導師不超過5位，ALC Beijing也沒有成立，我們只能四處詢問，八方求援，經歷了無數次的嘗試，甚至出現了一絲絲的動搖，
但是我們馬上就想到團隊每一個人的付出和努力、想到那些默默支持我們前行的用戶、想到一開始就種在我們心中的開源之夢，
我們堅信有信念就一定有遠方，有夢想就一定有希望，我們堅信彩虹一定會出現，最終我們幸運地迎來了我們的champion和mentor。

至今仍清晰記得初見吳晟老師的場景：吳晟老師用了將近一下午的時間給我們普及了Apache孵化器的一些標准和Apache Way，我們也從最開始的喜悅興奮變為了默默沉思。
第二個迎頭重擊就是Apache的license協議遵從，我們需要檢查所有的依賴是否符合license許可，否則就需要修改，於是又經過了幾個月的重構和升級。
這里還有一個小插曲，我們在申請進入Apache孵化器過程當中，發現Easy Scheduler不是全球唯一的名字，於是又進行了投票最終選中了
DolphinScheduler.

所幸我們一直堅定着信念，天道酬勤，當美國時間2019年8月29號DolphinScheduler全票通過正式成為Apache孵化器項目的時候，
每個人都洋溢着開心的笑容，但是我們又很快的冷靜下來，真正的Apache Way也許才剛剛開始。

第一次的Apache release，是孵化過程中很重要的一個里程碑。DS用了4個月的時間發出了第一個Apache release，一個很大的原因
就是起初代碼層面上關注較多，而Apache對於license和商標有着近乎嚴苛的要求，在release的時候會進行非常仔細地檢查，
字體的版權或者某個前端組件使用的license不合規范都會結束一周左右的發版流程。

經歷過第一次Apache release發版后，會對Apache Community Over Code的名言有着更切身的體會，成功的開源項目最重要的因素就是：
社區、社區還是社區。時間仿佛回到了吳晟老師給我們首次講述Apache Way的那個下午：
“Apache 是一個透明、開放的社區，需要讓工作的人來決定；如果一件事情沒有出現在郵件列表中，那它就沒有發生；
Apache 社區是一個公開、平等、精英治理的社區；Apache更多的是給一個思路，很多時候沒有一個固定的規則和流程。。。”

感謝吳晟老師、史少峰老師、陳亮老師、Furkan Kamaci老師和Kevin Ratnasekera老師。
感謝每一位使用過DS的用戶、每一位參與過DS社區貢獻的伙伴，感謝你們願意犧牲自己寶貴的時間與我們一同前行，一個star，一個issue，
一篇文章、一行代碼、一封郵件列表，參加一場meetup的舉辦，這都是我們一起同在的見證！也期待更多的伙伴加入到DS社區，
我們一起披荊斬棘、一起高歌猛進！一起經歷風雨、一起見證勝利！

歡迎加入Apache dolphinscheduler 社區

• https://github.com/apache/incubator-dolphinscheduler (請記得fork和star)

訂閱郵件列表

• 用自己的郵箱向[e-mail]發送一封郵件，主題和內容任意。

• 接收確認郵件並回復。 完成步驟1后，將收到一封來自[e-mail]的確認郵件（如未收到，請確認郵件是否被自動歸入垃圾郵件、推廣郵件、訂閱郵件等文件夾）。然后直接回復該郵件，或點擊郵件里的鏈接快捷回復即可，主題和內容任意。

• 接收歡迎郵件。 完成以上步驟后，會收到一封主題為WELCOME to [e-mail]的歡迎郵件，至此已成功訂閱Apache DolphinScheduler（Incubating）的郵件列表。

在線試用

如果您不想部署，而是想先體驗一下，那么我們也提供了在線 Demo (1.2.0 版本)，Demo可以快速體驗一下 Shell、Python等任務類型，受制於服務器單機硬件條件，有些功能比如不能定時調度，各種數據源不能體驗外，無其他限制，大家可以聯系龍飛微信開通 Demo

我們鼓勵任何形式的參與社區，最終成為 Committer 或 PPMC，如：

• 將遇到的問題通過 github 上 issue 的形式反饋出來
• 回答別人遇到的 issue 問題
• 幫助完善文檔
• 幫助項目增加測試用例
• 為代碼添加注釋
• 提交修復 Bug 或者 Feature 的 PR
• 發表應用案例實踐、調度流程分析或者與調度相關的技術文章
• 幫助推廣 DolphinScheduler，參與技術大會或者 meetup 的分享等

歡迎加入貢獻的隊伍，加入開源從提交第一個 PR 開始

• 比如添加代碼注釋或找到帶有 ”easy to fix” 標記或一些非常簡單的 issue(拼寫錯誤等) 等等，先通過第一個簡單的 PR 熟悉提交流程
  

注：貢獻不僅僅限於 PR 哈，對促進項目發展的都是貢獻

相信參與 DolphinScheduler，一定會讓您從開源中受益！

如何成為 ALC Beijing的成員

ALC Beijing 歡迎任何人的參與！不設置任何門檻，只要有意願傳播 Apache 以及開源之道的小伙伴都可以參與進來！具體的方式如下：

• 加入我們的活動。大家可以通過關注ALC Beijing公眾號獲取最新的活動信息，並參加我們的線上或者線下的活動。
• 成為ALC Beijing會員。ALC Beijing作為一個公益組織，需要大量的志願者的來幫助協調和組織活動。志願者成為會員的原則和Apache軟件基金的其他項目發展Committer以及PMC成員的方式一樣, 基於志願者在社區中的貢獻，采用投票邀請方式成為ALC Beijing 會員。
  歡迎關注"ALC Beijing"公眾號

參考鏈接

[1] https://dolphinscheduler.apache.org/zh-cn/index.html

[2] https://www.infoq.cn/article/SeODu1bwlyjCUR70t6KD

感謝花時間閱讀，謝謝！