解決streamsets jdbc全量模式數據重復問題

原文鏈接：

https://anjia0532.github.io/2019/07/22/sdc-jdbc-full-mode/

實際上在官方文檔有講 Full and Incremental Mode

 

 

主要看提示(Tip)部分，如果只想執行一次查詢后就停止 pipeline，應該配置 origin 的 generate events 並且使用 Pipeline Finisher 來自動停止 pipeline，更多信息參見 Event Generation.

在 jdbc origin 勾選 Produce Events

 

 

從組件選則 Pipeline Finisher，並且配置 Preconditions 為 ${record:eventType() == 'no-more-data'} 即可

 

 

 

 

 

參考資料

• 我的博客
• 我的掘金
• Full and Incremental Mode
• Event Generation
• Case Study: Stop the Pipeline