【FlinkCDC】基本用法


一、CDC概念

測並捕獲數據庫的變動,這些變更按發生的順序完整記錄下來,寫入到消息中間件中以供其他服務進行訂閱及消費
基於查詢和binlog兩種方式

二、FlinkCDC

        Flink社區開發了 flink-cdc-connectors 組件,這是一個可以直接從 MySQLPostgreSQL 等數據庫直接讀取全量數據增量變更數據 source 組件。去讀mysql的數據有四種模式startupoptions:啟動的時候做一次快照,然后再讀取最新的數據。斷點續傳,保存位置的信息,可以指定時間戳

 

三、用法

  mysql的配置文件開啟binlog

 

log-bin=mysql-bin
binlog-format=row
binlog-do-db=庫名

 

  

 

  項目導包fink-conect-mysql-cdc,

  dataStream和flinkSql監控binlog,但是dataStream可以監控多庫多表,但是flinksql只能監控單庫單表,flinksql格式可以設置比較簡單

 

  checkpiont設置保存點,正常被取消job是會刪除的,但是可以設置參數,取消job,仍然保存ck,從這里恢復數據

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM