附:Kettle實戰視頻教程,需要的朋友可以看看學習下哈~~
- kettle實戰第一講-文件和數據庫表的互相轉換處理_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第二講-數據庫單表的全量同步_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第三講-數據庫單表的增量同步_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第四講-同步錯誤原因記錄到數據庫日志表_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第五講-多個數據庫表融合到一個數據庫業務表_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第六講-比較不同的數據庫表進行數據的一致性處理_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第七講-通過配置文件做表的全量同步,一個作業統統搞定_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第八講-通過配置文件做數據表的增量同步,一個作業統統搞定_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第九講-通過配置文件做表的全量同步_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第十講-windows下的kettle作業調度_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
- kettle實戰第十一講-Linux下的kettle作業調度_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
本文接上篇文章,上面文章講的是,通過配置文件的全量更新,現在說下增量更新

如上圖所示,涉及到1個轉換和1個作業。
1-表增量同步(轉換)

可以通過讀取同步表參數這個excel表格文件,獲取表名稱和同步的依賴對象(本文就是cjsj創建時間),同步成功后復制記錄到結果
2-增量數據同步(作業)

我們右鍵點開如上圖,包含了7個轉換組成。
1)表數據同步設置(轉換)

獲取上個轉換的記錄,放到設置變量中。
2)表數據同步設置2(轉換)

獲取時間變量放入設置變量中
3)獲取查詢條件 (轉換)

3.1)點開獲取查詢條件,寫入查詢條件,放入設置變量中

4)刪除目標原始數據(轉換)
刪除目標庫的原始數據,如下圖,刪除重復的數據

5)待插入數據同步(轉換),轉換點開后,如下圖,顯示了獲取cjsj創建時間在日志表之后的數據,插入新表

6)保存同步日志(轉換)

寫入日志表。
這樣就完成了表數據的增量更新,通過配置文件來配置相應的表數據,一個專業可以完成全量和增量的所有表的更新。
通過添加excel表的表名,實現一個調度任務,完成所有表的同步
注意:因某些限制,最新源代碼和后續通用配置實現數據抽取 已放置在筆者公眾號上,請關注微信公眾號: 【JAVA大師】, 回復關鍵字:【KETTLE】,獲取kettle安裝程序和運行實例(表結構和kjb、ktr文件)。
同時筆者原創了一套視頻教程:現免費發放100套,先到先得。獲得方法:掃描下方二維碼,關注獲得

