【FlinkCDC】基本用法


一、CDC概念

测并捕获数据库的变动,这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费
基于查询和binlog两种方式

二、FlinkCDC

        Flink社区开发了 flink-cdc-connectors 组件,这是一个可以直接从 MySQLPostgreSQL 等数据库直接读取全量数据增量变更数据 source 组件。去读mysql的数据有四种模式startupoptions:启动的时候做一次快照,然后再读取最新的数据。断点续传,保存位置的信息,可以指定时间戳

 

三、用法

  mysql的配置文件开启binlog

 

log-bin=mysql-bin
binlog-format=row
binlog-do-db=库名

 

  

 

  项目导包fink-conect-mysql-cdc,

  dataStream和flinkSql监控binlog,但是dataStream可以监控多库多表,但是flinksql只能监控单库单表,flinksql格式可以设置比较简单

 

  checkpiont设置保存点,正常被取消job是会删除的,但是可以设置参数,取消job,仍然保存ck,从这里恢复数据

 

 

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM