思考:ES如何做去重:一个记录来回修改,而且存在并发的情况,可能会插入同样的几条记录。

思考:ES如何做去重:一个记录来回修改,而且存在并发的情况,可能会插入同样的几条记录。
记录中要有一个业务主键,根据这个来进行增删改;
每次修改时要有一个修改时间(根据这个时间来删除最新的记录),而且增删改要是幂等操作(就是每次增删改都带上最新的文档的全部信息,结合ES新增或者修改前必须先删除,再重建的性质);
启动一个定时JOB来不断扫描一段时间(比如修改时间在最近30天内的)的记录并执行去重重复操作(去重逻辑就是保留update最新的一条,其他删除);
定时JOB的周期设置是一个细节,一般要小于es索引的刷新时间(index.refresh_interval)

原文地址:https://www.cnblogs.com/big1987/p/11022581.html