一、CDC概念
测并捕获数据库的变动,这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费
基于查询和binlog两种方式
二、FlinkCDC
Flink社区开发了 flink-cdc-connectors 组件,这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。去读mysql的数据有四种模式startupoptions:启动的时候做一次快照,然后再读取最新的数据。断点续传,保存位置的信息,可以指定时间戳
三、用法
mysql的配置文件开启binlog
log-bin=mysql-bin binlog-format=row binlog-do-db=库名
项目导包fink-conect-mysql-cdc,
dataStream和flinkSql监控binlog,但是dataStream可以监控多库多表,但是flinksql只能监控单库单表,flinksql格式可以设置比较简单
checkpiont设置保存点,正常被取消job是会删除的,但是可以设置参数,取消job,仍然保存ck,从这里恢复数据