kettle实现简单的数据去重

(1)先创建一个转换,用来实现数据去重的操作;

 (2)在主对象树中创建mysql数据库链接并检测链接是否成功,这里需要先把mysql的jdbc驱动包放到spoon安装目录下的lib文件夹下;

 

 (3)创建如下几个核心对象,分别是数据表输入,将数据根据字段排序,数据去重,将去重好的数据输出到另一个表中,这里需要注意,数据去重前必须要经过根据相关字段排序;

 (4)运行程序,查看步骤度量是否所有步骤运行成功;

原文地址:https://www.cnblogs.com/123456www/p/12445502.html