思维导图 本文章已收录到个人博客网站(我爱B站)：me.lovebilibili.com 前言 在很多业务情况下，我们都会在系统中加入redis缓存做查询优化。 如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新redis的代码。 这种数据同步的代码跟业务代码 ...

　　在生产环境中，经常会遇到MySql与Redis数据不一致的问题。那么如何能够保证MySql与Redis数据一致性的问题呢?话不多说，咱们直接上解决方案。 　　如果对Canal还不太了解的可以先去看一下官方文档:https://github.com/alibaba/canal ...

背景 在支持客户中，我们发现有一些客户公司已经存在一些数据通道，不允许业务直接消费MySQL Binlog，所有的数据消费都是从Kafka中获取，所以写这篇文档分享下如何消费Kafka中canal格式的数据写到到starrocks，实现CDC。 数据流向 Mysql ...

可以访问 这里 查看更多关于 消息中间件 的原创文章。 移山是禧云自研的数据迁移平台，包含异构数据源的迁移、实时数据同步等服务。有兴趣的可以看这里：了解在移山中怎么实现异构数据源的迁移； 本文主要介绍移山实时数据同步服务产生的背景以及整体架构 ...

可以访问 这里 查看更多关于 消息中间件 的原创文章。 上一篇 介绍了移山(数据迁移平台)实时数据同步的整体架构； 本文主要介绍移山(数据迁移平台)实时数据同步是如何保证消息的顺序性。 可以访问 这里 查看更多关于大数据平台建设的原创文章 ...

canal本质就是"冒充"从库,通过订阅mysql bin-log来获取数据库的更改信息。 mysql配置(my.cnf) mysql需要配置my.cnf开启bin-log日志并且将bin-log日志格式设置为row, 同时为了防止bin-log日志占用过多磁盘,可以设置一下过期时间 ...

前提 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展 ...

准备 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ...