logstash同步mysql数据失败

 

问题描述

前提:

项目采用Elasticsearch提供搜索服务,Mysql提供存储服务,通过Logstash将Mysql中数据同步到Elasticsearch。

问题:

使用logstash-jdbc-input插件同步Mysql中的两张表时,一张表的数据完整的存到了ES中,而另一张表没有任何数据插入

原因分析

1、查询语句错误,将语句放入命令行中查询,查询成功,排除

2、jdbc插件只支持一次查询,经网上搜索资料,确认jdbc可以并发执行多次查询

3、对比两张表结构,对比过程中发现无数据插入的那张表中存在"type"字段,想到jdbc插件中有关键字“type”,用来命名索引下的类型,猜测是因为这个原因导致数据无法插入,经验证,确实如此。

解决方案

修改表中“type”字段名为"category",重新执行查询,成功。

原文地址:https://www.cnblogs.com/yourstars/p/10563694.html