一步一步跟我学习lucene(1)---lucene的IndexWriter对象创建和索引策略的选择
2015-05-05 17:03
344 查看
应工作的需要(数据量大造成原有系统查询效率低),最近做了搜索引擎相关的内容,之前培训的时候对lucene即有接触,当时做的是3.x版本的,本人比较激进,毫不犹豫的选择了lucene5版本(15年刚发布的,O(∩_∩)O哈哈~)。
lucene是一个开放源代码的全文搜索引擎开发工具包,提供了简单强大的搜索引擎接口,其优点如下:
数据以索引文件的形式存储,索引文件可以跨平台,只要保证索引完整,复制到任何机器或者磁盘空间均可以查询索引内容;
在传统全文检索引擎的倒排索引的基础上,实现了分块索引,能够针对新的文件建立小文件索引,提升索引速度。然后通过与原有索引的合并,达到优化的目的;
索引的构建和查询都十分简洁,有强大的类库实现相关功能;
开发源代码,论坛和资源十分丰富。
索引的构建过程描述如下:
1)判断JRE版本是否为64位和是否支持堆外内存,并创建
1.1 如果满足条件,创建MMapDirectory,此种Directory可以有效的利用虚拟机内存地址空间 ;
1.2 如果不满足以上条件,判断系统是否是windows,如果满足条件,创建SimpleFSDirectory,此种directory提供了性能不太高的多线程支持,lucene推荐使用NIOFSDirectory
1.3 如果以上均不满足,创建NIOFSDirectory对象,此种directory的英文说明为
大意是一个利用了java nio中FileChannel的FSDirectory实现,允许无syschronized的对同一文件进行多线程读
2)词库分析器Analyzer创建(需要注意的是使用哪种Analyzer进行索引查询,创建的时候也要使用对应的索引器,否则查询结果有问题)
3)IndexWriterConfig对象创建,并获取IndexWriter对象
3.1 判断是覆盖索引还是追加索引,如果是覆盖索引indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
3.2 如果追加indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
4) 遍历根据要索引的对象列表,对单个对象的field进行lucene相关field构建,添加到Document对象中
5)IndexWriter对索引进行写入;
6)IndexWriter执行commit()和close()结束索引创建过程
以lucene5为例,索引器的创建如下:
此博文是对近期做lucene索引的总结,大家有问题的话联系本人的Q-Q: 891922381,同时本人新建Q-Q群:106570134(lucene,solr,netty,hadoop),如蒙加入,不胜感激,大家共同探讨,本人争取每日一博,希望大家关注呦
lucene是一个开放源代码的全文搜索引擎开发工具包,提供了简单强大的搜索引擎接口,其优点如下:
数据以索引文件的形式存储,索引文件可以跨平台,只要保证索引完整,复制到任何机器或者磁盘空间均可以查询索引内容;
在传统全文检索引擎的倒排索引的基础上,实现了分块索引,能够针对新的文件建立小文件索引,提升索引速度。然后通过与原有索引的合并,达到优化的目的;
索引的构建和查询都十分简洁,有强大的类库实现相关功能;
开发源代码,论坛和资源十分丰富。
索引的构建过程描述如下:
1)判断JRE版本是否为64位和是否支持堆外内存,并创建
1.1 如果满足条件,创建MMapDirectory,此种Directory可以有效的利用虚拟机内存地址空间 ;
1.2 如果不满足以上条件,判断系统是否是windows,如果满足条件,创建SimpleFSDirectory,此种directory提供了性能不太高的多线程支持,lucene推荐使用NIOFSDirectory
或者MMapDirectory来替代之;
1.3 如果以上均不满足,创建NIOFSDirectory对象,此种directory的英文说明为
An FSDirectory implementation that uses java.nio's FileChannel's positional read, which allows multiple threads to read from the same file without synchronizing
大意是一个利用了java nio中FileChannel的FSDirectory实现,允许无syschronized的对同一文件进行多线程读
2)词库分析器Analyzer创建(需要注意的是使用哪种Analyzer进行索引查询,创建的时候也要使用对应的索引器,否则查询结果有问题)
3)IndexWriterConfig对象创建,并获取IndexWriter对象
3.1 判断是覆盖索引还是追加索引,如果是覆盖索引indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
3.2 如果追加indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
4) 遍历根据要索引的对象列表,对单个对象的field进行lucene相关field构建,添加到Document对象中
5)IndexWriter对索引进行写入;
6)IndexWriter执行commit()和close()结束索引创建过程
以lucene5为例,索引器的创建如下:
/**创建索引写入器 * @param indexPath * @param create * @return * @throws IOException */ public static IndexWriter getIndexWriter(String indexPath,boolean create) throws IOException{ Directory dir = FSDirectory.open(Paths.get(indexPath, new String[0])); Analyzer analyzer = new StandardAnalyzer(); IndexWriterConfig iwc = new IndexWriterConfig(analyzer); if (create){ iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE); }else { iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND); } IndexWriter writer = new IndexWriter(dir, iwc); return writer; }
此博文是对近期做lucene索引的总结,大家有问题的话联系本人的Q-Q: 891922381,同时本人新建Q-Q群:106570134(lucene,solr,netty,hadoop),如蒙加入,不胜感激,大家共同探讨,本人争取每日一博,希望大家关注呦
相关文章推荐
- Lucene.net(4.8.0) 学习问题记录三: 索引的创建 IndexWriter 和索引速度的优化
- 一步一步跟我学习lucene(6)---lucene索引优化之多线程创建索引
- lucene学习-创建索引
- lucene学习的第一个例子之创建索引
- 1、学习Lucene3.5之创建索引
- lucene5学习 - 索引基本操作(创建,查询,更新,删除,分页)
- Lucene 4.10 + Mysql 5.5 创建数据库表索引(Lucene 学习序列1)
- lucene学习笔记1--索引创建
- lucene学习之创建索引的方式
- 一步一步跟我学习lucene(18)---lucene索引时join和查询时join使用示例
- lucene---创建IndexWriter对象
- lucene学习-创建索引
- 3、学习Lucene3.5之索引创建--域选项
- 《Lucene in Action》(第二版) 第一章节的学习总结 ---- 用最少的代码创建索引和搜索
- Lucene学习-创建索引、关键词查询
- 新一篇: lucene学习----创建索引 |
- Lucene的学习第五篇——创建索引—域的再学习
- 一步一步跟我学习lucene(8)---lucene搜索之索引的查询原理和查询工具类(支持分页)示例
- Lucene学习-创建索引(一)
- 01_java Lucene学习——创建索引