全文检索引擎Solr系列——整合中文分词组件IKAnalyzer
2016-03-18 17:53
411 查看
IK Analyzer是一款结合了词典和文法分析算法的中文分词组件,基于字符串匹配,支持用户词典扩展定义,支持细粒度和智能切分,比如:
智能分词的结果是:
最细粒度分词结果:
整合IK Analyzer比mmseg4j要简单很多,下载解压缩IKAnalyzer2012FF_u1.jar放到目录:E:\solr-4.8.0\example\solr-webapp\webapp\WEB-INF\lib,修改配置文件schema.xml,添加代码:
此时就算配置完成了,重启服务:java -jar start.jar,来看看IKAnalyzer的分词效果怎么样,打开Solr管理界面,点击左侧的Analysis页面
默认分词器进行最细粒度切分。IKAnalyzer支持通过配置IKAnalyzer.cfg.xml 文件来扩充您的与有词典以及停止词典(过滤词典),只需把IKAnalyzer.cfg.xml文件放入class目录下面,指定自己的词典mydic.dic
事实上前面的FieldType配置其实存在问题,根据目前最新的IK版本IK Analyzer
2012FF_hf1.zip,索引时使用最细粒度分词,查询时最大分词(智能分词)实际上是不生效的。
据作者linliangyi说,在2012FF_hf1这个版本中已经修复,经测试还是没用,详情请看此贴。
重新编译后更新jar文件,更新schema.xml文件:
张三说的确实在理
智能分词的结果是:
张三 | 说的 | 确实 | 在理
最细粒度分词结果:
张三 | 三 | 说的 | 的确 | 的 | 确实 | 实在 | 在理
整合IK Analyzer比mmseg4j要简单很多,下载解压缩IKAnalyzer2012FF_u1.jar放到目录:E:\solr-4.8.0\example\solr-webapp\webapp\WEB-INF\lib,修改配置文件schema.xml,添加代码:
查询采用IK自己的最大分词法,索引则采用它的细粒度分词法
此时就算配置完成了,重启服务:java -jar start.jar,来看看IKAnalyzer的分词效果怎么样,打开Solr管理界面,点击左侧的Analysis页面
默认分词器进行最细粒度切分。IKAnalyzer支持通过配置IKAnalyzer.cfg.xml 文件来扩充您的与有词典以及停止词典(过滤词典),只需把IKAnalyzer.cfg.xml文件放入class目录下面,指定自己的词典mydic.dic
2012FF_hf1.zip,索引时使用最细粒度分词,查询时最大分词(智能分词)实际上是不生效的。
据作者linliangyi说,在2012FF_hf1这个版本中已经修复,经测试还是没用,详情请看此贴。
解决办法:重新实现IKAnalyzerSolrFactory
相关文章推荐
- 深入理解Activty的启动
- ios学习总结(1) -- 创建第一个ios项目
- java 请求url并解析
- Ubuntu配置XX-Net
- iOS开发之NSThread、NSOperation、GCD三者之间的简略比较
- 10_Android的消息机制
- CSS3复习——小三角、旋转、过渡
- 求一个十进制数转化成二进制后bit为0或1的个数
- UVALive 6527 Counting ones
- How to create a custom notification on Android
- Spring mvc @ResponseBody返回JSON前台JSP乱码解决
- 线性表的顺序存储结构
- 全文检索引擎Solr系列——整合中文分词组件mmseg4j
- 改变UITextField placeHolder颜色、字体 、输入光标位置等
- UIView常用方法之setNeedsDisplay和setNeedsLayout
- cmstop传递什么控制器和方法---就实例化该控制器
- easyui datagrid 悬浮事件
- Intervals(poj1201)
- 键盘 - 隐藏收起键盘的N种方法
- 文章标题android软件安全与逆向分析 第二章练习笔记