最近用到使用es按指定字段对数据去重,之前没怎么用过es,网上找es分组的资料。发现较多资料提到es的聚合查询,效果类似mysql的 select uid, count(uid) from table group by uid。
但这不是我想要的效果,mysql的按组查询各组最新的一条数据。
上谷歌找到博文:https://www.jianshu.com/p/ce47af084cf7
https://blog.csdn.net/ctwy291314/article/details/82759215
按着改了查询条件:
$params['collapse'] = [ "field"=> "uid", //要进行折叠的字段 // "inner_hits" => [ //折叠的参数集 // "name"=> "hits", //折叠的name,目前没有发现哪里有用到的地方,可能在多个折叠情况下有用 // "ignore_unmapped"=> true, //默认为false,如果存在一些数据没有折叠字段的会报错,设置为true可以避免类似的报错 //from和size用来控制想要返回的折叠列表,这里我的需求是重复id相同仅返回头条,所以两个参数均设置为0 //如果有需求折叠列表的可以通过这里控制 // "from"=> 0, // "size"=> 10, // "version"=> false, // "explain"=> false, // "track_scores"=> true, // "sort" => [], // ] ];
打印查询结果可见数据已经按uid去重,如果要拿到折叠数据,将取消注释的代码再次提交即可,如果折叠内容需要增加排序,将排序规则加入collapse的sort即可。