關於CloudCanal
產品介紹
2021年8月1日，經歷近2年的准備，CloudCanal社區版正式與大家見面了。CloudCanal是一款由ClouGence公司發行的集結構遷移、數據全量遷移/校驗/訂正、增量實時同步為一體的數據遷移同步平台。產品包含完整的產品化能力，助力企業打破數據孤島、完成數據互融互通，從而更好的使用數據。CloudCanal社區版為免費版本，我們會持續地對其維護，請大家放心下載使用。
研發團隊
CloudCanal 核心團隊成員來自阿里巴巴中間件和數據庫團隊, 長期從事分布式數據庫、數據庫中間件、應用中間件工作，包括阿里雲分布式數據庫中間件產品 DRDS、內部核心系統數據同步工具精衛、阿里雲數據湖產品 DLA 、開源數據網關 Hasor 等產品負責人和核心研發 。
關於開源
CloudCanal 內核未來會開源，相關工作准備中，請保持關注。未開源前，我們也會通過一些渠道分享 CloudCanal 技術和應用細節，歡迎大家加入微信粉絲群或者關注我們社區動態(參考文末信息)。
功能介紹
支持的源和目標
CloudCanal是一款多源多端數據遷移同步工具，當前支持的數據源主要如下(20210801版本，數據源持續添加中)：
源端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka
目標端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里雲ADB
功能矩陣
CloudCanal針對數據源提供的標准能力如下
| 功能模塊 | 功能項 |
|---|---|
| 數據源管理 | 產品化添加阿里雲數據源 |
| 產品化添加自建數據源 | |
| 修改內網網Host地址 | |
| 修改數據源在CloudCanal平台存儲的賬號密碼 | |
| 針對阿里雲數據源自動添加機器白名單 | |
| 刪除數據源 | |
| 數據源多維篩選搜索 | |
| 機器管理 | 集群化管理 |
| 機器生命周期控制 | |
| 機器系統信息實時監控 | |
| 白屏化機器日志查看(針對CloudCanal的Sidecar組件) | |
| 產品化添加ECS | |
| 產品化添加自建機器 | |
| 集群搜索 | |
| 監控管理 | 監控大盤查看整體任務創建情況、機器使用情況 |
| 白屏化全局異常事件搜集，支持按照任務搜索並且查看異常堆棧 | |
| 異常事件搜索 | |
| 告警發送日志 | |
| 系統管理 | 用戶管理：支持用戶搜索 |
| 狀態機管理：支持查看任務狀態機詳情和狀態 | |
| 異步任務管理：支持查看異步任務詳情、狀態、失敗時異常堆棧 | |
| 支持全局操作審計、條件過濾 | |
| 任務管理 | 支持卡片、列表兩種任務展示方式 |
| 任務遷移同步進度、狀態查看 | |
| 任務生命周期控制：任務啟動、刪除、批量操作 | |
| 任務詳情查看：同步的源、目標查看運行機器查看任務各同步階段狀態、統計信息查看 | |
| 清除位點：從當前時間點開始同步 | |
| 重置位點：設置位點的開始時間 | |
| 任務實時監控數據查看：實時RPS、任務引擎監控、資源監控等 | |
| 任務參數修改：支持任務內核參數調整、生效 | |
| 支持查看任務訂閱情況，並且支持多維篩選 | |
| 支持白屏化查看任務關鍵日志 | |
| 任務監控報警：支持設定延遲閾值進行釘釘、短信、電話報警 | |
| 支持新增、刪除訂閱（新訂閱的表會自動進行全量同步） | |
| 支持異常跳過策略參數配置 | |
| 支持參數化配置並行度、批處理大小、內存隊列大小等關鍵配置 | |
| 可視化任務創建 | 支持可視化配置源、目標以及任務運行機器 |
| 支持創建結構遷移、全量遷移、實時增量、校驗任務、訂正任務等任務類型 | |
| 支持創建任務規格選擇 | |
| 支持庫、表、列訂閱裁剪 | |
| 支持整庫遷移 | |
| 支持庫樹形批量篩選 | |
| 支持表過濾條件設置、表批量設置過濾條件 | |
| 支持豐富的篩選條件批量設置訂閱 | |
| 支持按照列搜索並批量設置過濾條件 | |
| 支持列映射 | |
| 支持無主鍵表設置自定義主鍵 | |
| 支持虛擬列設置 | |
| 支持增量ACTION過濾 |
Tips:
- 功能矩陣中部分能力針對某些數據源尚未支持，具體可以關注我們社區動態
- 社區版源和目標支持的數據源正在逐步開放中，請對我們保持關注。如想嘗鮮體驗完整源和目標，可以直接嘗試CloudCanal的SAAS平台(免費使用)
技術架構
CloudCanal主體上分為三個主要部分：
-
控制台：完成CloudCanal的主要產品化能力
-
Sidecar: 主要負責任務進程和控制台程序之間的信息交互並且保證任務進程高可用
-
任務內核：任務內核進程，負責全量
下載地址
OSS下載地址：https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/2021_07_31/cloudcanal.7z
官方社區和粉絲群
官方社區地址：https://www.askcug.com
加入CloudCanal粉絲群掌握一手消息和獲取更多福利，請添加我們小助手微信：
CloudCanal-免費好用的企業級數據同步工具，歡迎品鑒。
了解更多產品可以查看官方網站： http://www.clougence.com
CloudCanal社區：https://www.askcug.com/