solr+mmseg4j 中文分词
2013-11-22 09:25
411 查看
首先安装mmseg4j
官网:https://code.google.com/p/mmseg4j/
下载地址:http://code.google.com/p/mmseg4j/downloads/list
wget http://mmseg4j.googlecode.com/files/mmseg4j-1.9.0.v20120712-SNAPSHOT.zip
(我用的是mmseg4j-1.9.0.v20120712-SNAPSHOT.zip)因为我用的solr是4.0的
mmseg4j 1.8.3 只支持 lucene 2.9/3.0 接口 和 solr1.4。其它没改动。
mmseg4j 1.8.5 支持 lucene 3.1, solr3.1。
mmseg4j 1.9.0 支持 lucene 4.0, solr4.0。
我在我的安装目录下建了连个文件夹一个放jar文件,一个放词库文件
sudomkdir /var/www/solr/lib
sudo mkdir /var/www/solr/dic
解压缩文件:unzipmmseg4j-1.9.0.v20120712-SNAPSHOT.zip -d ./mmseg4j
然后把.jar文件移动到建好的lib目录下:
sudocp -r mmseg4j/mmseg4j-all-1.9.0.v20120712-SNAPSHOT.jar/var/www/solr/lib/
后面再把词库文件*.dic移到dic目录下面:
sudo cp -r mmseg4j/data/* /var/www/solr/dic/
然后我们就需要编辑自己的配置文件和表结构文件,首先编辑配置文件:
cd /var/www/solr/
sudo nano collection1/conf/solrconfig.xml
然后在标签写入mmseg4j-*-.jar的路径
<libdir="/var/www/solr/lib" />
我尝试了一下这边路径最好写全路径,网上说可以写相对路径但是我写相对路径的时候就会报错
然后开始编辑表结构文件:
sudo nanocollection1/conf/schema.xml
在里面相应的标签内加入下面这几段代码:
[html] view
plaincopy
<field name="simple" type="textSimple" indexed="true" stored="true"/>
<field name="complex" type="textComplex" indexed="true" stored="true"/>
<field name="MaxWord" type="textMaxWord" indexed="true" stored="true"/>
[html] view
plaincopy
<copyField source="simple"dest="text" />
<copyField source="complex" dest="text"/>
<copyField source="MaxWord" dest="text"/>
MMSeg算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex加了四个规则过虑。
[html] view
plaincopy
<fieldType name="textComplex" class="solr.TextField">
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="/var/www/solr/dic"/>
</analyzer>
</fieldType>
<fieldType name="textMaxWord" class="solr.TextField">
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="/var/www/solr/dic"/>
</analyzer>
</fieldType>
<fieldType name="textSimple" class="solr.TextField">
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="/var/www/solr/dic"/>
</analyzer>
</fieldType>
注意的是:
dicPath的值改成你自己机器上词库相应的目录。(最好使用决定路径)
自定义词库文件名必需是 “words” 为前缀和 “.dic”为后缀。如:/dic/words-my.dic
dicPath指定词库位置(每个MMSegTokenizerFactory可以指定不同的目录,当是相对目录时,是相对 solr.home的目录),mode指定分词模式(simple|complex|max-word,默认是max-word)
在定义field的时候要注意名称不能重复,我在做的时候就犯了这样一个错误:
报错的内容:
到这就安装配置好了,咱们重启下tomcat就可以访问了:
sudo /usr/local/tomcat7/bin/shutdown.sh
sudo /usr/local/tomcat7/bin/startup.sh
http://yourServerIP:8983/solr/#/collection1/analysis
自定义词库文件名必需是“words” 为前缀和 “.dic” 为后缀。如:/data/words-my.dic。
这里直接把mmseg4j/data目录下的所有.dic文件拷贝到$TOMCAT_HOME/solr/dict目录下。共有:4个dic文件,chars.dic、units.dic、words.dic、 words-my.dic。下面简单解释一下这几个文件的作用。
* data/chars.dic是单字与语料中的频率,一般不用改动,1.5版本中已经加到mmseg4j的jar里了,我们不需要关心它,当然你在词库目录放这个文件可能覆盖它。
* data/units.dic 是单字的单位,默认读jar包里的,你也可以自定义覆盖它。
* data/words.dic 是词库文件,一行一词,当然你也可以使用自己的,1.5版本使用sogou 词库,1.0的版本是用 rmmseg 带的词库。
* data/wordsxxx.dic 1.6版支持多个词库文件,data目录(或你定义的目录)下读到"words"前缀且".dic"为后缀的文件。如:data/words-my.dic。
1.9新出的一个功能,还没用过,就是MMseg4jHandler:
添加 MMseg4jHandler类,可以在solr中用url的方式来控制加载检测词库。参数:
* dicPath是指定词库的目录,特性与MMSegTokenizerFactory中的dicPath一样(相对目录是,是相对solr.home)。
* check 是指是否检测词库,其值是true 或on。
* reload 是否尝试加载词库,其值是 true 或on。此值为 true,会忽视 check 参数。
sudo nano collection1/conf/solrconfig.xml
加入一下代码:
[plain] view
plaincopy
<requestHandler name="/mmseg4j"class="com.chenlb.mmseg4j.solr.MMseg4jHandler">
<lst name="defaults">
<str name="dicPath">dic</str>
</lst>
</requestHandler>
官网:https://code.google.com/p/mmseg4j/
下载地址:http://code.google.com/p/mmseg4j/downloads/list
wget http://mmseg4j.googlecode.com/files/mmseg4j-1.9.0.v20120712-SNAPSHOT.zip
(我用的是mmseg4j-1.9.0.v20120712-SNAPSHOT.zip)因为我用的solr是4.0的
mmseg4j 1.8.3 只支持 lucene 2.9/3.0 接口 和 solr1.4。其它没改动。
mmseg4j 1.8.5 支持 lucene 3.1, solr3.1。
mmseg4j 1.9.0 支持 lucene 4.0, solr4.0。
我在我的安装目录下建了连个文件夹一个放jar文件,一个放词库文件
sudomkdir /var/www/solr/lib
sudo mkdir /var/www/solr/dic
解压缩文件:unzipmmseg4j-1.9.0.v20120712-SNAPSHOT.zip -d ./mmseg4j
然后把.jar文件移动到建好的lib目录下:
sudocp -r mmseg4j/mmseg4j-all-1.9.0.v20120712-SNAPSHOT.jar/var/www/solr/lib/
后面再把词库文件*.dic移到dic目录下面:
sudo cp -r mmseg4j/data/* /var/www/solr/dic/
然后我们就需要编辑自己的配置文件和表结构文件,首先编辑配置文件:
cd /var/www/solr/
sudo nano collection1/conf/solrconfig.xml
然后在标签写入mmseg4j-*-.jar的路径
<libdir="/var/www/solr/lib" />
我尝试了一下这边路径最好写全路径,网上说可以写相对路径但是我写相对路径的时候就会报错
然后开始编辑表结构文件:
sudo nanocollection1/conf/schema.xml
在里面相应的标签内加入下面这几段代码:
[html] view
plaincopy
<field name="simple" type="textSimple" indexed="true" stored="true"/>
<field name="complex" type="textComplex" indexed="true" stored="true"/>
<field name="MaxWord" type="textMaxWord" indexed="true" stored="true"/>
[html] view
plaincopy
<copyField source="simple"dest="text" />
<copyField source="complex" dest="text"/>
<copyField source="MaxWord" dest="text"/>
MMSeg算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex加了四个规则过虑。
[html] view
plaincopy
<fieldType name="textComplex" class="solr.TextField">
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="/var/www/solr/dic"/>
</analyzer>
</fieldType>
<fieldType name="textMaxWord" class="solr.TextField">
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="/var/www/solr/dic"/>
</analyzer>
</fieldType>
<fieldType name="textSimple" class="solr.TextField">
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="/var/www/solr/dic"/>
</analyzer>
</fieldType>
注意的是:
dicPath的值改成你自己机器上词库相应的目录。(最好使用决定路径)
自定义词库文件名必需是 “words” 为前缀和 “.dic”为后缀。如:/dic/words-my.dic
dicPath指定词库位置(每个MMSegTokenizerFactory可以指定不同的目录,当是相对目录时,是相对 solr.home的目录),mode指定分词模式(simple|complex|max-word,默认是max-word)
在定义field的时候要注意名称不能重复,我在做的时候就犯了这样一个错误:
报错的内容:
到这就安装配置好了,咱们重启下tomcat就可以访问了:
sudo /usr/local/tomcat7/bin/shutdown.sh
sudo /usr/local/tomcat7/bin/startup.sh
http://yourServerIP:8983/solr/#/collection1/analysis
自定义词库文件名必需是“words” 为前缀和 “.dic” 为后缀。如:/data/words-my.dic。
这里直接把mmseg4j/data目录下的所有.dic文件拷贝到$TOMCAT_HOME/solr/dict目录下。共有:4个dic文件,chars.dic、units.dic、words.dic、 words-my.dic。下面简单解释一下这几个文件的作用。
* data/chars.dic是单字与语料中的频率,一般不用改动,1.5版本中已经加到mmseg4j的jar里了,我们不需要关心它,当然你在词库目录放这个文件可能覆盖它。
* data/units.dic 是单字的单位,默认读jar包里的,你也可以自定义覆盖它。
* data/words.dic 是词库文件,一行一词,当然你也可以使用自己的,1.5版本使用sogou 词库,1.0的版本是用 rmmseg 带的词库。
* data/wordsxxx.dic 1.6版支持多个词库文件,data目录(或你定义的目录)下读到"words"前缀且".dic"为后缀的文件。如:data/words-my.dic。
1.9新出的一个功能,还没用过,就是MMseg4jHandler:
添加 MMseg4jHandler类,可以在solr中用url的方式来控制加载检测词库。参数:
* dicPath是指定词库的目录,特性与MMSegTokenizerFactory中的dicPath一样(相对目录是,是相对solr.home)。
* check 是指是否检测词库,其值是true 或on。
* reload 是否尝试加载词库,其值是 true 或on。此值为 true,会忽视 check 参数。
sudo nano collection1/conf/solrconfig.xml
加入一下代码:
[plain] view
plaincopy
<requestHandler name="/mmseg4j"class="com.chenlb.mmseg4j.solr.MMseg4jHandler">
<lst name="defaults">
<str name="dicPath">dic</str>
</lst>
</requestHandler>
相关文章推荐
- 开发例子
- 观察者模式,PHP
- 重看《搞定3》的第232页的2万英尺的职责范围
- 属性动画(Property Animation)资源
- 1062-直接插入排序
- 1063-冒泡排序
- 1064-快速排序
- 1065-两路合并
- 1066-堆排序
- 1068-烦恼的中学生
- 1061-简单选择排序
- ios-sandbox 沙盒模式
- 解决centos 6.3 yum安装软件时找不到镜像问题
- 解决centos 6.3 yum安装软件时找不到镜像问题
- android+jni+ndk
- eclipse插件
- IOS使用MFMailComposeViewController发邮件
- 无线网无法上网,ping的时候显示hardware error的解决办法
- 到最后所有事儿都会好起来
- 1069-生日聚会