一、CDC概念
測並捕獲數據庫的變動,這些變更按發生的順序完整記錄下來,寫入到消息中間件中以供其他服務進行訂閱及消費
基於查詢和binlog兩種方式
二、FlinkCDC
Flink社區開發了 flink-cdc-connectors 組件,這是一個可以直接從 MySQL、PostgreSQL 等數據庫直接讀取全量數據和增量變更數據的 source 組件。去讀mysql的數據有四種模式startupoptions:啟動的時候做一次快照,然后再讀取最新的數據。斷點續傳,保存位置的信息,可以指定時間戳
三、用法
mysql的配置文件開啟binlog
log-bin=mysql-bin binlog-format=row binlog-do-db=庫名
項目導包fink-conect-mysql-cdc,
dataStream和flinkSql監控binlog,但是dataStream可以監控多庫多表,但是flinksql只能監控單庫單表,flinksql格式可以設置比較簡單
checkpiont設置保存點,正常被取消job是會刪除的,但是可以設置參數,取消job,仍然保存ck,從這里恢復數據