将数据库的数据导入solr索引库中

在solr与tomcat整合文章中，我用的索引库是mycore，现在就以这个为例。

首先要准备jar包：solr-dataimporthandler-4.8.1.jar、solr-dataimporthandler-extras-4.8.1.jar和mysql-connector-java-5.0.7-bin.jar这三个包到solr的tomcat的webapps\solr\WEB-INF\lib下

在这个文件夹的conf下配置两个文件，添加一个文件。先配置solrconfig.xml。

在该文件下添加一个新节点。

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>

在solrconfig.xml的同目录下创建data-config.xml。

配置：

<dataConfig>
<dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost:3306/courseman"
user="root"
password="mysql" />
<document>
<entity name="student"
query="SELECT * FROM student">
<field column="id" name="id" />
<field column="name" name="name" />
<field column="gender" name="gender" />
<field column="major" name="major" />
<field column="grade" name="grade" />
</entity>
</document>
</dataConfig>

schemal.xml的配置

<?xml version="1.0" ?>
<!--
Licensed to the Apache Software Foundation (ASF) under one or more
contributor license agreements.  See the NOTICE file distributed with
this work for additional information regarding copyright ownership.
The ASF licenses this file to You under the Apache License, Version 2.0
(the "License"); you may not use this file except in compliance with
the License.  You may obtain a copy of the License at
 http://www.apache.org/licenses/LICENSE-2.0 
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
-->

<schema name="example core one" version="1.1">

<fieldtype name="string"  class="solr.StrField" sortMissingLast="true" omitNorms="true"/>
<fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
<fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/>

<!-- general -->
<field name="id"   type="int"    indexed="true"  stored="true"  />
<field name="gender"  type="string"    indexed="true"  stored="true"   />
<field name="name"      type="string"    indexed="true"  stored="true"   />
<field name="major"     type="string"    indexed="true"  stored="true"   />
<field name="grade"     type="string"    indexed="true"  stored="true"   />
<field name="_version_" type="long"      indexed="true"  stored="true"/>

<!-- field to use to determine and enforce document uniqueness. -->
<uniqueKey>id</uniqueKey>

<!-- field for the QueryParser to use when an explicit fieldname is absent -->
<defaultSearchField>name</defaultSearchField>

<!-- SolrQueryParser configuration: defaultOperator="AND|OR" -->
<solrQueryParser defaultOperator="OR"/>
</schema>

默认的文件不是这样的，稍微改动了一下。

field 的type类型是根据fieldtype 的name定义的。class是solr自定义的不能更改。

shcema.xml文件的field字段的属性介绍：

（1）name：字段名称
（2）type：字段类型（此处type不是java类型，而是下面定义的fieldType）
（3）indexed：是否索引？true--solr会对这个字段进行索引，只有经过索引的字段才能被搜索、排序等；false--不索引
（4）stored：是否存储？true--存储，当我们需要在页面显示此字段时，应设为true，否则false。
（5）required：是否必须？true--此字段为必需，如果此字段的内容为空，会报异常；false--不是必需
（6）multiValued：此字段是否可以保存多个值？
（7）omitNorms：是否对此字段进行解析？有时候我们想通过某个字段的完全匹配来查询信息，那么设置 indexed="true"、omitNorms="true"。
（8）default：设置默认值

有这样一个FieldType描述：

<fieldType name="text_general" positionIncrementGap="100">
<analyzer type="index">
<tokenizer/>
<filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
<filter/>
</analyzer>
<analyzer type="query">
<tokenizer/>
<filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
<filter synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
<filter/>
</analyzer>
</fieldType>

属性说明：
（1）name：类型名称，<field>中的type引用的就是这个name
（2）class：solr自定义的类型
（3）<analyzer type="index">定义建立索引时使用的分词器及过滤器
（4）<analyzer type="query">定义搜索时所使用的分词器及过滤器
（5）<tokenizer/>定义分词器
（6）<filter/>定义过滤器

uniqueKey属性

<uniqueKey>id</uniqueKey>
类似于数据表数据的id，solr索引库中最好定义一个用于标示document唯一性的字段，此字段主要用于删除document。

defaultSearchField属性

就是你在做query搜尋時若不指定特定欄位做檢索時, Solr就會只查這個欄位.
<defaultSearchField>default</defaultSearchField>

copyField属性

是用來複製你一個欄位裡的值到另一欄位用. 如你可以將name裡的東西copy到major裡, 這樣solr做檢索時也會檢索到name裡的東西.

<copyField source="name" dest="major"/>

现在可以将数据库的数据导入solr了。

点击Execute就可以了。



数据库的数据导进来了。



数据库的表。



数据库表结构。