
2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 成功加入 Apache 孵化器,進入孵化器后,SeaTunnel 社區花費了大量時間來梳理整個項目的外部依賴以確保整個項目的合規性,終於在貢獻者們四個月的努力下,社區於 2022 年 3 月 18 日正式發布了首個 Apache 版本,該版本一次性通過 Apache 孵化器嚴苛的 2 輪投票審查,最大程度地保證了 SeaTunnel 軟件 License 的合規性。同時這意味着 2.1.0 版本,是經過 SeaTunnel 社區和 Apache 孵化器雙重檢查后發布的第一個 Apache 官方版本,企業和個人用戶可以放心安全使用。
2.1.0 下載地址:
https://seatunnel.apache.org/download
GitHub Release:
https://github.com/apache/incubator-seatunnel/releases/tag/2.1.0
Note:
License 是一種具有法律性質的合同或指導,目的在於規范受著作權保護的軟件的使用或散布行為。軟件許可是軟件開發者與其用戶之間的一份合約,用來保證在符合許可范圍的情況下,用戶將會受到保護。這里非常建議廣大用戶及開發者在選擇開源軟件前,首先關注該軟件的 License 許可是否適用於自己的產品中,而 Apache License 是一種對商業十分友好的 License。
01 本次發布版本說明
新特性
1.對微內核插件化的架構內核部分進行了大量優化,內核以 Java 為主,並對命令行參數解析,插件加載等做了大量改進,同時插件擴展可根據用戶(或貢獻者)所擅長的語言去做開發,極大程度地降低了插件開發門檻。
2.全面支持 Flink,但同時用戶也可自由選擇底層引擎,本次更新也為大家帶來了大量的 Flink 插件,也歡迎大家后續貢獻相關插件。
3.提供本地開發極速啟動環境支持(example),貢獻者或用戶可以在不更改任何代碼的情況下快速絲滑啟動,方便本地快速開發調試體驗。對於需要自定義插件的貢獻者或者用戶來講,這無疑是個令人激動的好消息。事實上,我們在發布前的測試中,也有大量貢獻者采用這種方式快速對插件進行測試。
4.提供 Docker 容器安裝,用戶可以極快地通過 Docker 部署安裝使用 SeaTunnel,未來我們也會圍繞 Docker&K8s 做出大量迭代,歡迎大家討論交流。
具體功能說明
-
使用 JCommander 來做命令行參數解析,使得開發者更關注邏輯本身。
-
Flink 從 1.9 升級至 1.13.5,保持兼容舊版本,同時為后續 CDC 做好鋪墊。
-
支持 Doris 、Hudi、Phoenix、Druid 等 Connector 插件,完整的插件支持你可以在這里找到 [plugins-supported-by-seatunnel] 。
-
本地開發極速啟動環境支持,你可以在使用 example 模塊,不修改任何代碼的前提下快速啟動,方便開發者本地調試體驗。
-
支持通過 Docker 容器安裝和試用 SeaTunnel。
-
Sql 組件支持 SET 語句,支持配置變量。
-
Config 模塊重構,減少貢獻者理解成本,同時保證項目的代碼合規 (License)。
-
項目結構重新調整,以適應新的 Roadmap。
-
CI&CD 的支持,代碼質量自動化管控,(后續會有更多的計划來支持 CI&CD 開發)。
02 用戶寄語
一路見證了SeaTunnel的成長,從早期的waterdrop 開始,虎牙就一直使用作為數據pipline對接的核心組件,插件化的能力極大的簡化了數據對接的繁瑣工作。近期 SeaTunnel 多方面都進行了深度優化,尤其在擴展能力方面取得了巨大進展:引擎方面同時支持 Spark 和 Flink,具備其他引擎的擴展能力;插件方面支持了近20余種常見的數據存儲,具備其他多語言開發插件的擴展能力。經過社區的持續努力,SeaTunnel 在文檔、配置和開發測試環境都取得了前所未有的進步,同時 SeaTunnel 在項目結構上也做出大膽調整,為未來的 CDC、CI&CD、代碼質量自動化等特性的支持做好鋪墊。SeaTunnel 未來可期,希望大家持續關注中國自己主導的開源項目,Fighting!
- 虎牙數據架構師 黃強
很高興看到 SeaTunnel 第一個 Apache 版本的發布,新版本代碼結構更加清晰,支持的插件更加豐富。后續我也會繼續參加對 SeaTunnel 的貢獻。與社區一起讓使用更簡單,更高效。
- OPPO 高級工程師 范未太
SeaTunnel 獨特的架構設計、模塊化和插件化的先進思想非常值得借鑒。當 Seatunnel 還是 Waterdrop 的時候,我們就持續關注項目的發展,並在多種 etl 場景中驗證。我們結合了圖形化界面,使用戶可以通過簡單的配置,進行 ETL 操作,並大規模應用在生產環境中。希望 SeaTunnel 發展越來越好!
- 理想汽車大數據基礎平台負責人 聶磊
恭喜Seatunnel加入Apache后首個Apache版本發布,2.1.0基於更加清晰的代碼結構,更加豐富的插件家族,優秀而簡單易用,使其非常適合二開及企業落地,另外架構的升級優化、性能的提升,將更高效的助力於企業的數據傳輸,提升數據價值。
- 嗶哩嗶哩資深開發 張宗耀
Apache SeaTunnel(Incubating) 的出現彌補了大數據開源生態中高並發數據推送和清洗的空白,其插件式思想的架構,吸引了一大批貢獻者不斷補充完善,使得多源數據交換更加簡單便捷,而這些亮點,在最新版本2.1.0中也都得到了最好的體現,大大節省了其使用者二開的成本。作為 Apache SeaTunnel(Incubating) 的粉絲之一,由衷的祝願 SeaTunnel越來越好,未來也會將個人和公司的使用經驗同步到社區,為 SeaTunnel 的更高效更易用添磚加瓦。
- 孩子王OLAP平台架構師 袁洪軍
恭喜SeaTunnel首個Apache版本的發布,剛接觸到SeaTunnel時,就被其簡單易用所吸引,新版本不但在架構上有很大的提升,而且支持的數據源也更加豐富。同時社區也越來越成熟,希望更多熱愛開源的小伙伴一同參與進來,讓SeaTunnel大放異彩。
- 蜀海供應鏈大數據工程師 吳迪
很高興看到 Seatunnel 加入 Apache 后發布了第一版本,新版本在系統架構、配置優化、性能提升等方面都獲得巨大進步。如果您還在為分布式數據接入和清洗而努力,不妨加入 Seatunnel 社區,這里有巨大驚喜在等着您!
- CETC 陳胡
03 致謝
感謝以下參與貢獻的同學(為 GitHub ID,排名不分先后):
Al-assad, BenJFan, CalvinKirs, JNSimba, JiangTChen, Rianico, TyrantLucifer, Yves-yuan, ZhangchengHu0923, agendazhang, an-shi-chi-fan, asdf2014, bigdataf, chaozwn, choucmei, dailidong, dongzl, felix-thinkingdata, fengyuceNv, garyelephant, kalencaya, kezhenxu94, legendtkl, leo65535, liujinhui1994, mans2singh, marklightning, mosence, nielifeng, ououtt, ruanwenjun, simon824, totalo, wntp, wolfboys, wuchunfu, xbkaishui, xtr1993, yx91490, zhangbutao, zhaomin1423, zhongjiajie, zhuangchong, zixi0825.
同時也誠摯的感謝我們的 Mentor :
Zhenxu Ke,Willem Jiang, William Guo,LiDong Dai ,Ted Liu, Kevin,JB
在這個過程中給予的幫助。
04 未來幾個版本的規划
-
CDC (Change Data Capture) 是一種用於捕捉數據庫變更數據的技術,未來我們會支持Spark、FlinkCDC 的支持;
-
監控體系,包括數據讀取耗時/s,任務讀取輸入數據總量,數據傳輸記錄等常用指標的監控。
-
UI 系統的支持,支持用戶界面編輯;
-
SDK 的支持,支持服務化,更便於用戶使用。
-
更多的 Connector 支持,以及更高效的 Sink 支持,如 ClickHouse,很快會在下個版本跟大家見面。
后續 Feature 是由社區共同決定的,我們也在這里呼吁大家一同參與社區后續建設,如果大家關注哪個特性,可以提 Issue 或者在 Issue 回復,關注多的問題將優先實現。
05 社區發展
近期概況
自進入 Apache 孵化器以來,貢獻者從13 人增長至 55 人,且持續保持上升趨勢,平均周 Commits 維持在20+,來自不同公司的三位貢獻者(Lei Xie, HuaJie Wang,Chunfu Wu,) 通過他們對社區的貢獻被邀請成為 Committer。
我們舉辦了兩場 MeetUp,來自 B 站,OPPO、唯品會等企業講師分享了 SeaTunnel 在他們在企業中的大規模生產落地實踐(后續我們也會保持每月一次的 meetup,歡迎各位使用 SeaTunnel 的用戶或者貢獻者分享 SeaTunnel 和你們的故事)。
Apache SeaTunnel (Incubating) 的用戶
Apache SeaTunnel (Incubating) 目前登記用戶如上,如果您也在使用 Apache SeaTunnel,歡迎在 Who is using SeaTunne (https://github.com/apache/incubator-seatunnel/issues/686)中登記!

Note:僅包含已登記用戶
06 PPMC 感言
Apache SeaTunnel (Incubating) PPMC LiFeng Nie 在談及首個 Apache 版本發布的時候說,從進入 Apache Incubator 的第一天,我們就一直在努力學習 Apache Way 以及各種 Apache 政策,第一個版本發布的過程花費了大量的時間(主要是合規性),但我們認為這種時間是值得花費的,這也是我們選擇進入 Apache 的一個很重要的原因,我們需要讓用戶用得放心,而 Apache 無疑是最佳選擇,其 License 近乎苛刻的檢查會讓用戶盡可能地避免相關的合規性問題,保證軟件合理合法的流通。另外,其踐行 Apache Way,例如公益使命、實用主義、社區勝於代碼、公開透明與共識決策、任人唯賢等,可以幫助 SeaTunnel 社區更加開放、透明,向多元化方向發展。
07 Committer & Contributor 寄語
Apache SeaTunnel 鏈接數據,釋放價值. 從進入Apache 孵化器到現在第一個Apache版本的發布, 一直深度關注, 並參與其中, 非常高興 SeaTunnel 第一個Apache版本的發布, 新版本在代碼架構和規范上都得到很大提升, Apache SeaTunnel 社區也非常活躍, 后續我會繼續貢獻, 歡迎更多的小伙伴加入其中, 為SeaTunnel 的發展貢獻一份力量.
- Apache SeaTunnel Committer 王華傑
很開心看到 SeaTunnel 發布了第一個 Apache 版本,雖然是第一個版本,但是 SeaTunel 在易用性方面,數據源支持方面已經具有很強的能力,能幫助用戶簡單快速高效的完成數據同步任務。同時社區也在蓬勃發展中,希望大家能夠一起參與到 Apache SeaTunnel(Incubating) 的貢獻之中,為 SeaTunnel 的成長獻出自己的力量。
- Apache SeaTunnel Contributor 范佳
經過社區小伙伴們共同的努力下,我們很高興的迎來了進入 Apache 孵化器的首個 Apache 版本,首個 Apache 版本相對於之前的非 Apache 版本從代碼層面上做了大量的重構工作,不管從代碼規范性上還是從插件豐富性上還是穩定性上等方面都有了很大的提升,Apache SeaTunnel 社區非常活躍,也希望更多的小伙伴能加入進來貢獻你的一份力量。
- Apache SeaTunnel Committer 武春甫
08 關於 SeaTunnel
SeaTunnel(原 Waterdrop) 是一個非常易用的支持海量數據實時同步的超高性能分布式數據集成平台,每天可以穩定高效同步千億數據,已在近百家公司生產上使用。
為什么我們需要 SeaTunnel
SeaTunnel 盡所能為您解決海量數據同步中可能遇到的問題:
-
數據丟失與重復
-
任務堆積與延遲
-
吞吐量低
-
應用到生產環境周期長
-
缺少應用運行狀態監控
SeaTunnel 使用場景
-
海量數據同步
-
海量數據集成
-
海量數據的 ETL
-
海量數據聚合
-
多源數據處理
SeaTunnel 的特性

如何快速上手 SeaTunnel?
想要快速體驗SeaTunnel嗎。2.1.0 十秒鍾帶你極速體驗:
https://seatunnel.apache.org/docs/2.1.0/developement/setup
如何參與貢獻?
我們誠邀各位有志於讓本土開源立足全球的伙伴加入 SeaTunnel 貢獻者大家庭,一起共建開源!
提交問題和建議:
https://github.com/apache/incubator-seatunnel/issues
貢獻代碼:
https://github.com/apache/incubator-seatunnel/pulls
訂閱社區開發郵件列表 :
dev-subscribe@seatunnel.apache.org
開發郵件列表:
dev@seatunnel.apache.org
加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-10u1eujlc-g4E~ppbinD0oKpGeoo_dAw
關注 Twitter:
https://twitter.com/ASFSeaTunnel
衷心歡迎你們的加入!
// 保持聯絡 //
微信號 : Seatunnel
來,和社區一同成長!
Apache SeaTunnel 是一個分布式、高性能、易擴展、用於海量數據(離線&實時)同步和轉化的數據集成平台。
倉庫地址:
https://github.com/apache/incubator-seatunnel
網址:
https://seatunnel.apache.org/
Proposal:
https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelProposal
2.1.0 下載地址:
https://seatunnel.apache.org/download
能夠進入 Apache 孵化器,SeaTunnel 新的路程才剛剛開始,但社區的發展壯大需要更多人的加入。我們相信,在「Community Over Code」(社區大於代碼)、「Open and Cooperation」(開放協作)、「Meritocracy」(精英管理)、以及「多樣性與共識決策」等 The Apache Way 的指引下,我們將迎來更加多元化和包容的社區生態,共建開源精神帶來的技術進步!
