简述 CloudCanal 2.1.0.x 版本开始支持 Oracle 作为源端的数据迁移同步能力,目前邀请测试中。 本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力。链路特点: 结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化 此文章简要介绍 ...
简述 之前的文章 分钟搞定 MySQL 到 ClickHouse 实时数据同步 发布后,很多用户将 MySQL gt ClickHouse 实时同步链路用了起来,但是我们很快发现,CollapsingMergeTree 在某些场景下可能并不能按预期进行数据折叠。 这个时候,我们参考了 ClickHouse 官方实现的 MaterializeMySQL 表引擎,将 ReplacingMergeTre ...
2022-01-07 09:57 0 3072 推荐指数:
简述 CloudCanal 2.1.0.x 版本开始支持 Oracle 作为源端的数据迁移同步能力,目前邀请测试中。 本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力。链路特点: 结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化 此文章简要介绍 ...
cloudcanal-zycgit 简述 TiDB 是国内非常火热的一款分布式数据库,参考 Google Percolator 和 Spanner 模型进行构建,具备很好的扩展性,并且支持强一致事务和一定的计算能力,应用广泛。 CloudCanal 提供了从传统关系型数据库实时同步 ...
简述 上一篇文章介绍了使用 CloudCanal 进行 MySQL 到 ElasticSearch 的宽表构建, 有蛮多朋友关注和尝试使用,我们也在不断迭代升级这个能力。 作为产品的通用功能,今天我们介绍下 MySQL -> ClickHouse 的宽表构建案例。 技术点 ...
简述 CloudCanal 近期实现了 MySQL(RDS) 到 ClickHouse 实时同步的能力,功能包含全量数据迁移、增量数据迁移、结构迁移能力,以及附带的监控、告警、HA等能力(平台自带)。 ClickHouse 本身并不直接支持 Update 和 Delete 能力,但是他自带 ...
简述 CloudCanal 2.X 版本近期支持了自定义代码能力,带来了丰富的场景化数据能力,本文主要介绍在面向 To C 业务分库分表情况下,如何通过 CloudCanal 进行数据实时汇聚。 本方案特点: 数据处理灵活,适配多变的业务数据汇聚需求 针对大部分带结构数据源互通 ...
简述 MySQL 到 MySQL 在线同步不是一个新鲜话题了,但是面对数据源异构、高度产品化创建、并且稳定运行于在线严苛场景,需要做的工作会比一个单纯工具或者脚本多得多。本篇文章仅从功能角度介绍 CloudCanal 如何快速创建并运行此种数据链路。 技术点 "异构" 和面临的问题 通常 ...
简述 异地多活是一项系统性工作,包含 web 层、应用服务层、数据层的流量分配和同步。 数据层的双向同步是整个方案基础,CloudCanal 在 MySQL <-> MySQL 链路有效支持了这个能力,本文简要介绍如何使用 CloudCanal 配置这样的双向同步链路。 技术点 ...