solr配置增量更新和定时更新数据库索引

solr增量索引

solr本地core目录D:\solr_home\solr\forumTopic\conf下得db-data-config.xml配置如下<dataConfig><!--<dataSource driver="org.postgresql.Driver" url="jdbc:postgresql://10.1.43.44:5432/broadleaf?useUnicode=true&characterEncoding=utf8" user="postgres"password="123"/>--><dataSource driver="org.postgresql.Driver" url="jdbc:postgresql://localhost:5432/broadleaf?useUnicode=true&characterEncoding=utf8" user="postgres"password="123"/><document><entity name="forumTopic" pk="id" query="SELECT * from blc_forum_topic where topic_status=0"deltaImportQuery="SELECT * from blc_forum_topic where topic_status=0 and topic_id = '${dataimporter.delta.id}'"deltaQuery="SELECT topic_id as id from blc_forum_topic where topic_status=0 and last_comment_time > '${dataimporter.last_index_time}'"><field column="topic_id" name="id" /><field column="clickcount" name="clickCount" /><field column="commentcount" name="commentCount" /><field column="favorited" name="favorited" /><field column="is_essence" name="isEssence" /><field column="is_top" name="isTop" /></entity></document></dataConfig>'${dataimporter.delta.id}'是取到deltaQuery查询得到的id数据然后，deltaImportQuery。根据id匹配的数据执行增量导入

solr定时增量索引

参考：官方文档,http://wiki.apache.org/solr/DataImportHandler#Schedulinggooglecode 找到：https://code.google.com/p/solr-dataimport-scheduler/1.复制solr-4.2.11\solr-4.2.1\dist目录下solr-dataimporthandler-4.2.1.jar 和solr-dataimporthandler-extras-4.2.1.jar到tomcat目录的\webapps\solr\WEB-INF\lib目录下2.从https://code.google.com/p/solr-dataimport-scheduler/downloads/list 下载apache-solr-dataimportscheduler-1.0-with-source.jar到tomcat目录的\webapps\solr\WEB-INF\lib目录下此三个jar包也可在我的网盘下载：http://pan.baidu.com/s/1kTxkNEB3.取出apache-solr-dataimportscheduler-1.0-with-source.jar内的dataimport.properties到自己tomca的webapps\solr\WEB-INF\web.xml配置的solrhome目录下即放到 D:/solr_home/solr/conf(不是D:/solr_home/solr/core/conf) 目录下面 conf文件夹是没有的，要新建例如如下图<env-entry><env-entry-name>solr/home</env-entry-name><env-entry-value>D:/solr_home/solr</env-entry-value><env-entry-type>java.lang.String</env-entry-type></env-entry>这样的就放到D:/solr_home/solr/conf 路径下在web.xml下配置配置文件的路径

1234567

< context-param > < param-name >autoDeltaImportConfPath</ param-name > < param-value >/yourconfpath</ param-value > </ context-param > < listener > < listener-class >org.apache.solr.handler.dataimport.scheduler.ApplicationListener</ listener-class > </ listener >

4.修改D:\program\tomcat6\webapps\solr\WEB-INF\web.xml,在<web-app>节点内，servlet节点前面加入

<listener>

<listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class>

</listener>

5.修改dataimport.properties内容：

#################################################

#   #

#   dataimport scheduler properties #

#   #

#################################################

#  to sync or not to sync

#  1 - active; anything else - inactive

syncEnabled=1

#  which cores to schedule

#  in a multi-core environment you can decide which cores you want syncronized

#  leave empty or comment it out if using single-core deployment

syncCores=forumTopic   //更新的solr的core名称

#  solr server name or IP address

#  [defaults to localhost if empty]

server=localhost   //服务器端地址

#  solr server port

#  [defaults to 80 if empty]

port=8080//端口号

#  application name/context

#  [defaults to current ServletContextListener's context (app) name]

webapp=solr

#  URL params [mandatory]

#  remainder of URL

#增量，注意entity=forumTopic 即自己core的名称

params=/dataimport?command=delta-import&clean=false&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

#  schedule interval

#  number of minutes between two runs

#  [defaults to 30 if empty]  增量更新的时间间隔

interval=1

#  重做索引的时间间隔，单位分钟，默认7200，即1天;

#  为空,为0,或者注释掉:表示永不重做索引

reBuildIndexInterval=1

#  重做索引的参数

reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true&optimize=true&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

#  重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；

#  两种格式：2012-04-11 03:10:00 或者  03:10:00，后一种会自动补全日期部分为服务启动时的日期

reBuildIndexBeginTime=09:30:44

配置完成，启动tomcat即可，访问地址，查看是否正常。再检查core下得配置文件，看时间改变即成功http://localhost:8080/solr/forumTopic/dataimport?command=delta-import&clean=true&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false注意：solr-dataimporthandler-4.10.4.jar会和solr项目冲突建议用solr-dataimporthandler-5.2.1.jar如果solr-dataimporthandler-5.2.1.jar不可以，就用低版本试试，但是只能选择一个，否则solr-dataimporthandler-5.2.1.jar冲突，如果这个jar有问题，访问就会出现如下图错误，初始化失败