kettle-2(实现增量更新-插入&更新)

由来:需要将一个系统的数据(MySQL)抽取到另一个系统(Oracle),使用ETL方式。随着数据量的增加,全量同步数据不可行,所以得做增量更新。业务数据表有主键,除了新增外,以前同步的数据非主键信息可能会发生更改。

1.看了下网上的思路,有一种是这样的(A代表表名):一句话概括-通过主键对比找到新增行-同步数据。

  ①select max(id) from mysql.A;===>>>找出MySQL中的最大ID;

  ②select * from oralce.A where a.id > ?;===>>>?代表①的max(id),找出oracle中比MySQL.max(id)大的ID;

  ③insert into mysql.A value = ②;===>>>将②中数据插入mysql;

  第一步没什么滑头,第二步如下:

  第三步如下:

  *上述方法没有问题,但是在初始化的时候行不通,原因是步骤①-mysql.A中没数据时,即max(id)=null,导致带入第 ②步的and条件的id > null ,即varchar > null,数据不会写到MySQL,当MySQL中有一条符合条件的ID时,是可行的。

2.在转换中新增的“插入/更新”时其实已经包含了两个动作-插入和更新,所以可以去掉1中的比较结果集步骤:

  ①找出oracle.A中的所有符合条件的数据;

  ②将上一步找到的数据通过ID字段和MySQL中的对比,做出更新动作;

    *这里的更新包含2层含义:

      *更新:如果ID = ID,ID字段不更新,其他字段更新,即ID更新=N,其他字段更新=Y;

      *新增:如果ID != ID,在以上范围外,新增;

  *可以先同步三条数据到mysql.A;然后再在oracle.A中增加一条数据,修改一条数据的非ID字段,执行下看下效果。

3.补充说明:若删除了oracle.A中已同步到mysql.A的数据时,执行操作后不会影响mysql.A中的这条数据。

作者:stuka

个性签名:教育的目的是为了获得与个人兴趣爱好相适应并得到国家和社会认可的能力

如有帮助请点击右下“推荐”

wechat alipay

原文地址:https://www.cnblogs.com/stuka/p/11245623.html