簡述 CloudCanal 2.1.0.x 版本開始支持 Oracle 作為源端的數據遷移同步能力,目前邀請測試中。 本文通過 Oracle 到 MySQL 的數據遷移同步案例簡要介紹這個源端的能力。鏈路特點: 結構遷移、全量遷移、增量同步(數據)、數據校驗俱全流程全自動化 此文章簡要介紹 ...
cloudcanal zycgit 簡述 TiDB 是國內非常火熱的一款分布式數據庫,參考 Google Percolator 和 Spanner 模型進行構建,具備很好的擴展性,並且支持強一致事務和一定的計算能力,應用廣泛。 CloudCanal 提供了從傳統關系型數據庫實時同步到 TiDB 的能力,並且附帶數據遷移 數據校驗 數據訂正等能力。此文章簡要介紹如何快速構建一條長期穩定運行的 MyS ...
2021-08-27 14:04 0 93 推薦指數:
簡述 CloudCanal 2.1.0.x 版本開始支持 Oracle 作為源端的數據遷移同步能力,目前邀請測試中。 本文通過 Oracle 到 MySQL 的數據遷移同步案例簡要介紹這個源端的能力。鏈路特點: 結構遷移、全量遷移、增量同步(數據)、數據校驗俱全流程全自動化 此文章簡要介紹 ...
簡述 之前的文章 5分鍾搞定 MySQL 到 ClickHouse 實時數據同步 發布后,很多用戶將 MySQL->ClickHouse 實時同步鏈路用了起來,但是我們很快發現,CollapsingMergeTree 在某些場景下可能並不能按預期進行數據折疊。 這個時候,我們參考 ...
簡述 上一篇文章介紹了使用 CloudCanal 進行 MySQL 到 ElasticSearch 的寬表構建, 有蠻多朋友關注和嘗試使用,我們也在不斷迭代升級這個能力。 作為產品的通用功能,今天我們介紹下 MySQL -> ClickHouse 的寬表構建案例。 技術點 ...
簡述 CloudCanal 2.X 版本近期支持了自定義代碼能力,帶來了豐富的場景化數據能力,本文主要介紹在面向 To C 業務分庫分表情況下,如何通過 CloudCanal 進行數據實時匯聚。 本方案特點: 數據處理靈活,適配多變的業務數據匯聚需求 針對大部分帶結構數據源互通 ...
簡述 MySQL 到 MySQL 在線同步不是一個新鮮話題了,但是面對數據源異構、高度產品化創建、並且穩定運行於在線嚴苛場景,需要做的工作會比一個單純工具或者腳本多得多。本篇文章僅從功能角度介紹 CloudCanal 如何快速創建並運行此種數據鏈路。 技術點 "異構" 和面臨的問題 通常 ...
簡述 異地多活是一項系統性工作,包含 web 層、應用服務層、數據層的流量分配和同步。 數據層的雙向同步是整個方案基礎,CloudCanal 在 MySQL <-> MySQL 鏈路有效支持了這個能力,本文簡要介紹如何使用 CloudCanal 配置這樣的雙向同步鏈路。 技術點 ...
的數據進行每隔5分鍾進行落地到Hive,進行每5分鍾分區存儲。流程圖如下所示: 2 ...