Solr部署配置（四）批量导入数据

一、solr自带导入插件DataImporte设置

1、在solrconfig.xml文件中添加如下内容，引入DataImport功能，并设置配置文件位置。

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">D:\dev\test\solr-tomcat\solr\db\conf\db-data-config.xml</str>
</lst>
</requestHandler>

2、将jdbc的jar包和solr包中的DataImport的jar包拷贝到webapp中solr/WEB-INF/lib目录

二、导入数据

1、从数据库导入数据(sqlserver)

<dataConfig>　
<!-- <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/langsin1" user="root" password="root"/>　-->
<dataSource type="JdbcDataSource" driver="net.sourceforge.jtds.jdbc.Driver" url="jdbc:jtds:sqlserver://localhost:1433;SelectMethod=Cursor;DatabaseName=dbname" user="sa" password="123"/>
<document name="userss">　
　　　　<entity name="users" pk="id" query="select * from news_friend_links">　
　　　　　　<field column="id" name="id" />　
　　　　　  <field column="name" name="name" />　
　　　　</entity>　
　　</document>　
</dataConfig>

详细配置参见：http://wiki.apache.org/solr/DataImportHandler#Extending_the_tool_with_APIs

处理CLOB和BLOB

<dataSource name="ora" driver="oracle.jdbc.OracleDriver" url="...." />
<datasource name="ds-BlobField" type="FieldStreamDataSource" />

<entity dataSource="ora" name="meta" query="select id, filename,content, bytes from documents" <span style="color:#ff6666;">transformer="ClobTransformer"</span>>
                <field column="ID" name="id" />
                <field column="FILENAME" name="filename" />
                <field column="CONTENT" name="CONTENT" <span style="color:#ff6666;">clob="true" </span>/>                

                 <entity dataSource="ds-BlobField" processor="TikaEntityProcessor" url="FILE_CONTENT"  dataField="ATTACH.FILE_CONTENT">                    <field column="text" name="FJ_FILE_CONTENT" /><!-- 全局搜索 -->                    <field column="Author" name="FJ_FILE_AUTHOR" meta="true" />                </entity>
</entity>

2、通过http或xml文件导入数据

a、http方式

<dataConfig>
<dataSource type="HttpDataSource" />
<document>
<entity name="slashdot"
pk="link"
url="http://rss.slashdot.org/Slashdot/slashdot"
processor="XPathEntityProcessor"
forEach="/RDF/channel | /RDF/item"
transformer="DateFormatTransformer">
<field column="source"       xpath="/RDF/channel/title"   commonField="true" />
<field column="title"        xpath="/RDF/item/title" />
<field column="link"         xpath="/RDF/item/link" />
<field column="date" xpath="/RDF/item/date" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss" />
</entity>
</document>
</dataConfig>

b、xml方式

导入单个文件

<dataConfig>
<dataSource type="FileDataSource" encoding="UTF-8" />
<document>
<entity name="page"
processor="XPathEntityProcessor"
stream="true"
forEach="/mediawiki/page/"
url="/data/enwiki-20080724-pages-articles.xml"
transformer="RegexTransformer,DateFormatTransformer"
>
<field column="id"        xpath="/mediawiki/page/id" />
<field column="title"     xpath="/mediawiki/page/title" />
<field column="timestamp" xpath="/mediawiki/page/revision/timestamp" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss'Z'" />
<field column="$skipDoc"  regex="^#REDIRECT .*" replaceWith="true" sourceColName="text"/>
</entity>
</document>
</dataConfig>

导入多个文件

<dataConfig>
<dataSource type="FileDataSource" encoding="UTF-8" />
<document>
<entity name="jc" rootEntity="false" dataSource="null"
processor="FileListEntityProcessor"
fileName=".xml$" recursive="false"
baseDir="D:/"
>
<entity name="page"
processor="XPathEntityProcessor"
stream="true"
forEach="/node/list/"
url="${jc.fileAbsolutePath}"
transformer="RegexTransformer,DateFormatTransformer"
>
<field column="id"        xpath="/node/list/id" />
<field column="name"     xpath="/node/list/name" />
</entity>
</entity>
</document>
</dataConfig>

三、导执行导入操作

访问：http://localhost:8081/solr/dataimport?command=full-import

其中command参数包括：

full-import：全部导入，清空原数据

delta-import：增量导入

reload-config：重新加载配置文件