kettle实现简单的数据去重


(1)先创建一个转换,用来实现数据去重的操作;

 (2)在主对象树中创建mysql数据库链接并检测链接是否成功,这里需要先把mysql的jdbc驱动包放到spoon安装目录下的lib文件夹下;

 

 

 

 

 

 (3)创建如下几个核心对象,分别是数据表输入,将数据根据字段排序,数据去重,将去重好的数据输出到另一个表中,这里需要注意,数据去重前必须要经过根据相关字段排序;

 

 (4)运行程序,查看步骤度量是否所有步骤运行成功;

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM