solr6.4.2全量与增量导入数据
2017-05-19 16:50
459 查看
1.导入jar包
将相应数据导入jar包放入solr项目的WEN-INF目录下的lib文件夹中:solr-dataimporthandler-6.4.2.jar solr-dataimporthandler-extras-6.4.2.jar
相关的jar包可以去solr安装包中找到。将数据库的jar包放入tomcat的lib目录下:
mysql-connector-java-5.1.39.jar
2.修改配置文件
修改solr项目中solr/solrhome/core1/conf目录下的solrconfig.xml文件:
<requestHandler name="/dataimport" class="solr.DataImportHandler"> <lst name="defaults"> <str name="config">solr-data-config.xml</str> </lst> </requestHandler>
在相应目录下创建solr-data-config.xml文件,有此文件直接修改:
<?xml version="1.0" encoding="UTF-8"?> <dataConfig> <dataSource name="source1" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.10.135:3306/solrtest" user="root" password="root" batchSize="-1" > </dataSource> <document> <entity name="news" pk="id" dataSource="source1" query="select * from news" deltaImportQuery="select * from news where id='${dih.delta.id}'" deltaQuery="select * from news where updatetime> '${dataimporter.last_index_time}'"> <field column="id" name="id"/> <field column="title" name="title"/> <field column="author" name="author"/> <field column="date" name="date"/> <field column="content" name="content"/> <field column="url" name="url"/> <field column="vip" name="vip"/> </entity> </document> </dataConfig>
其中last_index_time为每次索引时自动记录的时间。
3.建立数据库导入索引
数据库建立的数据表news中必须有一个updatetime的timestamp类型的字段,并且设置它为自更新,default设置为CURRENT_TIMESTAMP,这样每次修改某条数据时他的updatetime时间会自动更新。
全量更新索引(full-import) 增量更新索引(delta-import)
增量索引时去掉clean选项防止把原有数据清空,这样后面增加数据或者修改数据只需要进行增量更新就可以了。
相关文章推荐
- solr全量导入/增量导入mysql的数据
- 转:solr 从数据库导入数据,全量索引和增量索引(实例&配置&原理)
- solr 从数据库导入数据,全量索引和增量索引
- Solr 5,5从Mysql全量、增量导入数据
- Solr 5,5从Mysql全量、增量导入数据
- solr 从数据库导入数据,全量索引和增量索引
- solr 从数据库导入数据,全量索引和增量索引(实例&配置&原理)
- Solr:数据导入(包括关系数据库的全导入和增量导入)
- Solr-6.5.1从mysql数据库全量导入数据
- solr增量导入数据
- 和solr的N天N夜(四)--增量、定时导入并检索数据
- Solr学习 DIH增量、定时导入并检索数据
- (八) 通过jdbc对对solr进行数据的增量导入
- 全量导入数据 导致solr内存溢出 崩溃问题解决
- solr 配置自动同步数据库数据(全量,增量)
- 10.Solr4.10.3数据导入(DIH全量增量同步Mysql数据)
- Sqoop全量和增量导入数据到Oracle数据库
- solr导入mysql数据建全量索引
- Solr学习(四)DIH全量导入并索引数据
- solr增量导入导数据优化