kettle教程---通過配置表格配置實現數據的批量增量更新(實用)


附:Kettle實戰視頻教程,需要的朋友可以看看學習下哈~~

本文接上篇文章,上面文章講的是,通過配置文件的全量更新,現在說下增量更新

 

 

如上圖所示,涉及到1個轉換和1個作業。

1-表增量同步(轉換)

 

可以通過讀取同步表參數這個excel表格文件,獲取表名稱和同步的依賴對象(本文就是cjsj創建時間),同步成功后復制記錄到結果

2-增量數據同步(作業)

 

 

 

 

 

 

 

 我們右鍵點開如上圖,包含了7個轉換組成。

1)表數據同步設置(轉換)

 

 

獲取上個轉換的記錄,放到設置變量中。

2)表數據同步設置2(轉換)

 

 

 

獲取時間變量放入設置變量中

3)獲取查詢條件 (轉換)

 

 

 

 3.1)點開獲取查詢條件,寫入查詢條件,放入設置變量中

 

 

 

4)刪除目標原始數據(轉換)

刪除目標庫的原始數據,如下圖,刪除重復的數據

 

 

 

 

5)待插入數據同步(轉換),轉換點開后,如下圖,顯示了獲取cjsj創建時間在日志表之后的數據,插入新表

 

 

 

 

 

6)保存同步日志(轉換)

 

 寫入日志表。

這樣就完成了表數據的增量更新,通過配置文件來配置相應的表數據,一個專業可以完成全量和增量的所有表的更新。

 

通過添加excel表的表名,實現一個調度任務,完成所有表的同步


注意:因某些限制,最新源代碼和后續通用配置實現數據抽取 已放置在筆者公眾號上,請關注微信公眾號: 【JAVA大師】, 回復關鍵字:【KETTLE】,獲取kettle安裝程序和運行實例(表結構和kjb、ktr文件)

同時筆者原創了一套視頻教程:現免費發放100套,先到先得。獲得方法:掃描下方二維碼,關注獲得

img


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM