5分钟搞定 MySQL 到 TiDB 的数据同步 - CloudCanal实战
cloudcanal-zycgit 简述 TiDB 是国内非常火热的一款分布式数据库，参考 Google Percolator 和 Spanner 模型进行构建，具备很好的扩展性，并且支持强一致事务和一定的计算能力，应用广泛。 CloudCanal 提供了从传统关系型数据库实时同步 ...
原文：5分钟搞定分库分表数据汇聚到一张表--CloudCanal实战
简述 CloudCanal . X 版本近期支持了自定义代码能力，带来了丰富的场景化数据能力，本文主要介绍在面向 To C 业务分库分表情况下，如何通过 CloudCanal 进行数据实时汇聚。 本方案特点： 数据处理灵活，适配多变的业务数据汇聚需求 针对大部分带结构数据源互通，可举一反三 稳定性较好 技术点 约束冲突 对于一部分分库分表中间件或业务自己写的拆分逻辑，并没有考虑写入数据主键或者唯一 ...
2022-01-07 10:01 0 942 推荐指数：
相关推荐
5分钟搞定 MySQL 到 ClickHouse 宽表构建和同步-CloudCanal实战
简述 上一篇文章介绍了使用 CloudCanal 进行 MySQL 到 ElasticSearch 的宽表构建, 有蛮多朋友关注和尝试使用，我们也在不断迭代升级这个能力。 作为产品的通用功能，今天我们介绍下 MySQL -> ClickHouse 的宽表构建案例。 技术点 ...
5分钟搞定 Oracle 到 MySQL 实时数据同步-CloudCanal实战
简述 CloudCanal 2.1.0.x 版本开始支持 Oracle 作为源端的数据迁移同步能力，目前邀请测试中。 本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力。链路特点： 结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化 此文章简要介绍 ...
5分钟搞定 MySQL 到 ClickHouse 实时数据同步进阶篇-CloudCanal实战
简述 之前的文章 5分钟搞定 MySQL 到 ClickHouse 实时数据同步 发布后，很多用户将 MySQL->ClickHouse 实时同步链路用了起来，但是我们很快发现，CollapsingMergeTree 在某些场景下可能并不能按预期进行数据折叠。 这个时候，我们参考 ...
一张表搞懂各种 Docker 监控方案 - 每天5分钟玩转 Docker 容器技术（86）
前面我们已经介绍了ps/top/stats、Sysdig、Weave Scope、cAdvisor 和 Prometheus 多种容器监控工具和方案，是时候做一个比较了。下面将从五个方面来对比它们之间 ...
在Oracle中十分钟内创建一张千万级别的表
小表不会产生性能问题，大表才会。要练习SQL调优，还非得有大表不可。但数据不会自然产生，没有数据时如何创建一张千万级别的大表呢？ 之前，我想用Oracle的批量插入语法去插入数据，此语法如下： 通过Java程序，可以把Insert all 和 select * from dual ...
分库分表实战
分表 首先讨论下什么样的情况下适合分表？ 根据我的经验来看，当某张表的数据量已经达到千万甚至上亿，同时日增数据量在 2% 以上。 当然这些数字并不是绝对的，最重要的还是对这张表的写入和查询都已经影响到正常业务执行，比如查询速度明显下降，数据库整体 IO 居高不下等。 而谈到分表时我们着重 ...