Elasticsearch与Mysql数据同步

  Elasticsearch就是专门用于搜索的,所以我们会将新增的数据放入Elasticsearch中用于搜索,就有这样的常见的场景,需要将Mysql中的数据同步到Elasticsearch中。

Mysql数据同步到ES类型

  Mysql数据同步到ES中分为两种,分别是全量同步增量同步全量同步表示第一次建立好ES索引之后,将Mysql中所有数据一次性导入到ES中。增量同步表示Mysql中产生新的数据,这些新的数据包括三种情况,就是新插入Mysql中的数据,更新老的数据,删除的数据,这些数据的变动与新增都要同步到ES中。

MysqlES的数据同步实现方式

  业界有一些开源方案,开源中间件来实现。

  1. 基于Mysql的binlog日志订阅:binlog日志是Mysql用来记录数据实时的变化。

   

        这里主要的是binlog同步组件,目前实现的有国内的阿里巴巴开发的canal。

       

          github地址:https://github.com/alibaba/canal

原文地址:https://www.cnblogs.com/songgj/p/13193599.html