在Solr4.9中使用IKAnalyzer,实现同义词,扩展词库,停顿词的添加
2014-09-11 09:18
351 查看
在使用solr4.9的过程中,使用了IKAnalyzer分词器,其中遇到了不少问题,现在做个记录,以备后续只用。
首先使用IKAnalyzer是看到群里有人介绍,但是貌似现在IKAnalyzer已经没人更新了。。。不知道是不是真的,先不管这些,下面介绍一下如何在solr中使用它。
在solr的配置文件schema.xml中添加
synonyms.txt在solr_home/didi/conf文件下。
配置扩展词跟扩展停顿词配置入下:
IKAnalyzer.cfg.xml内容如下:
jar包下载路径:http://pan.baidu.com/s/1kT1cysn
首先使用IKAnalyzer是看到群里有人介绍,但是貌似现在IKAnalyzer已经没人更新了。。。不知道是不是真的,先不管这些,下面介绍一下如何在solr中使用它。
在solr的配置文件schema.xml中添加
<!--IKAnalyzer--> <fieldType name="text_ik" class="solr.TextField" positionIncrementGap="100"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" isMaxWordLength="false"/> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" isMaxWordLength="true"/> <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> </fieldType>其中的org.wltea.analyzer.lucene.IKAnalyzerSolrFactory类是自己扩展的,一会我会把IKAnalyzer扩展到Jar包传上来。
synonyms.txt在solr_home/didi/conf文件下。
配置扩展词跟扩展停顿词配置入下:
IKAnalyzer.cfg.xml内容如下:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 扩展配置</comment> <!--用户可以在这里配置自己的扩展字典 <entry key="ext_dict">ext.dic;</entry> --> <entry key="ext_dict">mydict.dic;</entry> <!--用户可以在这里配置自己的扩展停止词字典--> <entry key="ext_stopwords">stopword.dic;</entry> </properties>
jar包下载路径:http://pan.baidu.com/s/1kT1cysn
相关文章推荐
- 在Solr4.10配置IKAnalyzer 同义词、扩展词库、停顿词详解
- 在Solr4.10配置IKAnalyzer 同义词、扩展词库、停顿词详解
- solr之使用IKAnalyzer配置同义词,停止词,扩展词。
- Lucene使用IKAnalyzer分词实例 及 IKAnalyzer扩展词库
- Lucene使用IKAnalyzer分词实例 及 IKAnalyzer扩展词库
- ikanalyzer 兼容solr4.9 ,支出同义词配置
- solr配置停止词,同义词和扩展词库
- IKAnalyzer 添加扩展词库和自定义词
- Lucene建立索引 使用IKAnalyzer扩展词库
- [solr] - IKAnalyzer 扩展分词库
- solr5.3 实现同义词 扩展词典 停止词典 功能介绍
- Lucene使用IKAnalyzer分词实例 及 IKAnalyzer扩展词库
- solr中添加扩展分词库和停止词库
- [solr] - IKAnalyzer 扩展分词库
- solr配置同义词,停止词,和扩展词库(IK分词器为例)
- Luence使用IKAnalyzer分词实例 及 IKAnalyzer扩展词库
- 配置IKAnalyzer2012扩展词库(tomcat8.0+solr4.6)
- IKAnalyzer 独立使用 配置扩展词库
- IKAnalyzer 扩展词典(强制分词)【solr里添加扩展词典,扩展词典的格式必须是 utf-8 的无BOM格式编码。jav开发中 IKAnalyzer.cfg.xml必须在类路径根下】
- solr 6.2.0系列教程(二)IK中文分词器配置及添加扩展词、停止词、同义词