kettle實現簡單的數據去重


(1)先創建一個轉換,用來實現數據去重的操作;

 (2)在主對象樹中創建mysql數據庫鏈接並檢測鏈接是否成功,這里需要先把mysql的jdbc驅動包放到spoon安裝目錄下的lib文件夾下;

 

 

 

 

 

 (3)創建如下幾個核心對象,分別是數據表輸入,將數據根據字段排序,數據去重,將去重好的數據輸出到另一個表中,這里需要注意,數據去重前必須要經過根據相關字段排序;

 

 (4)運行程序,查看步驟度量是否所有步驟運行成功;

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM