关于Elasticsearch使用jdbc-river同步数据每次追加的问题
2015-04-22 11:49
781 查看
最近项目中使用到搜索文章功能,于是就去调研搜索引擎,最后选择了elasticsearch。
使用过程中碰到了如下问题:
我用的是jdbc-river去同步数据,测试时是写的每隔一分钟去同步一次,结果发现同步
回来的数据和之前的数据都在,刚开始我以为是缓存,后来排查发现是后来每次同步
的数据都追加了造成多个数据。
查看elasticsearch官方文档发现:
For fetching a table, a simple "select *" (star) query can be used. Star
queries are the simplest variant of selecting data from a database. They dump tables into
Elasticsearch row-by-row. If no _id column name is given, IDs will be automatically generated.
意思是:
抓取一个表,一个简单的“select
*”(star)可以使用查询。明星查询从数据库选择数据的简单的变体。他们转储表到Elasticsearch逐行。如果没有_id列名,IDs将自动生成。
所以抓取数据时指定一个_id列名,问题就解决了。
例如:我之前的sql语句是:select
* from article;
改为:select
*,article_id as _id from article;
就ok了。
使用过程中碰到了如下问题:
我用的是jdbc-river去同步数据,测试时是写的每隔一分钟去同步一次,结果发现同步
回来的数据和之前的数据都在,刚开始我以为是缓存,后来排查发现是后来每次同步
的数据都追加了造成多个数据。
查看elasticsearch官方文档发现:
For fetching a table, a simple "select *" (star) query can be used. Star
queries are the simplest variant of selecting data from a database. They dump tables into
Elasticsearch row-by-row. If no _id column name is given, IDs will be automatically generated.
意思是:
抓取一个表,一个简单的“select
*”(star)可以使用查询。明星查询从数据库选择数据的简单的变体。他们转储表到Elasticsearch逐行。如果没有_id列名,IDs将自动生成。
所以抓取数据时指定一个_id列名,问题就解决了。
例如:我之前的sql语句是:select
* from article;
改为:select
*,article_id as _id from article;
就ok了。
相关文章推荐
- ElasticSearch使用jdbc-river同步数据库出现dateOptionalTime不能识别的问题解决办法一则
- elasticsearch使用river同步mysql数据
- ElasticSearch5.4.3使用logstash的logstash-input-jdbc实现mysql数据同步
- Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题
- 使用logstash-6.2.2和logstash-input-jdbc插件实现mysql数据同步到Elasticsearch
- 用elasticsearch-river-jdbc同步数据到elasticsearch
- 用elasticsearch-river-jdbc同步数据到elasticsearch
- elasticsearch使用river同步mysql数据
- 解决在循环中使用ajax异步时,数据的同步问题
- 关于使用BufferedWriter时没有数据 写入问题,和换行问题
- 【jQuery】解决在循环中使用ajax异步时,数据的同步问题
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- 关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- 使用Hbase协作器(Coprocessor)同步数据到ElasticSearch
- elasticsearch-jdbc 使用数据库数据创建索引
- 关于ios7 使用 GDataXml 解析 xml 数据的问题。
- 也来说说关于Hibernate使用update更新数据时,不更新的问题
- 关于“使用rand()产生的随机数每次得到的结果相同”的问题
- 关于Android 使用服务器公钥RSA加密 数据到服务器RSA解密报错问题