Lucene构建索引时的一些概念和索引构建的过程
2015-03-22 00:39
369 查看
在搜索文档内容之前要做的事情就是对从各种不同来源(网页,数据库,电子邮件等)的文档进行索引,索引的过程就是对内容进行提取,规范化(通过对内容进行建模来实现),然后存储。
在索引的过程中有几个基本的概念,根据我自己的理解大概写一下:
文档(Document):
文档在索引和搜索的时候都会用到,是索引和搜索的基本单位(类似于关系数据库关系表中的记录),若我们对网页内容进行索引和搜索,则从互联网上爬下来的每一个网页最终都会经过分析,提取出其中有意义的部分(比如网页标题,URL,包含的关键字,发布日期等),形成一个个的文档存储起来,在搜索的时候0根据这些内容进行匹配,找到的也是一个个匹配的文档,然后再从文档中找出需要的内容,进行还原
域(Field):
域是文档中真正用来匹配的东西,文档是由一个或者多个域构成的(可以类别关系表中的字段,一条记录由多个字段构成,每个字段都有其类型和对应的值,Lucene中文档是由域构成,每个域都有其名称、类型和值)。关于Lucene中的域选项可以参考之前我写的这篇文章:Lucene中的域选项
分析器(Analyzer)/词元(Term):
分析器同样是在索引和搜索的时候都需要用到,分析器是把原始文档(或者用户输入)解析成一个个的词语(称为词元),Lucene的索引就是一种倒排索引的结构,存储的是从词元到文档的映射。原始文档通过分析器转换成词元然后将词元和文档的映射关系存储为索引,用户搜索时分析器将用户的输入转换为词元然后到索引中去查找匹配的文档
Lucene的索引过程主要分为三个步骤:
1.将从各种方式得到的文档转换成文本
2.用分析器分析文本
3.将分析好的文本保存至索引
下边的一张图是我从网上找的,很好滴说明了Lucene的索引过程(还有搜索的过程)
在索引的过程中有几个基本的概念,根据我自己的理解大概写一下:
文档(Document):
文档在索引和搜索的时候都会用到,是索引和搜索的基本单位(类似于关系数据库关系表中的记录),若我们对网页内容进行索引和搜索,则从互联网上爬下来的每一个网页最终都会经过分析,提取出其中有意义的部分(比如网页标题,URL,包含的关键字,发布日期等),形成一个个的文档存储起来,在搜索的时候0根据这些内容进行匹配,找到的也是一个个匹配的文档,然后再从文档中找出需要的内容,进行还原
域(Field):
域是文档中真正用来匹配的东西,文档是由一个或者多个域构成的(可以类别关系表中的字段,一条记录由多个字段构成,每个字段都有其类型和对应的值,Lucene中文档是由域构成,每个域都有其名称、类型和值)。关于Lucene中的域选项可以参考之前我写的这篇文章:Lucene中的域选项
分析器(Analyzer)/词元(Term):
分析器同样是在索引和搜索的时候都需要用到,分析器是把原始文档(或者用户输入)解析成一个个的词语(称为词元),Lucene的索引就是一种倒排索引的结构,存储的是从词元到文档的映射。原始文档通过分析器转换成词元然后将词元和文档的映射关系存储为索引,用户搜索时分析器将用户的输入转换为词元然后到索引中去查找匹配的文档
Lucene的索引过程主要分为三个步骤:
1.将从各种方式得到的文档转换成文本
2.用分析器分析文本
3.将分析好的文本保存至索引
下边的一张图是我从网上找的,很好滴说明了Lucene的索引过程(还有搜索的过程)
相关文章推荐
- lucene.net的一些基本使用方法和概念
- 针对Lucene 建立索引过程与搜索过程耗费时间的矛盾一点思路
- lucene-理解索引过程
- Lucene学习总结之四:Lucene索引过程分析(2)
- Lucene学习总结之四:Lucene索引过程分析(1)
- 关于网络处理的一些基本概念(有一些过程)
- Lucene学习总结之四:Lucene索引过程分析(2)
- lucene-索引的优化和索引过程查看
- lucene-2.9.0 索引过程(四) 合并过程
- Lucene学习总结之四:Lucene索引过程分析(4)
- Lucene生成索引的时候,总是在索引的过程中出现下面的异常信息:(转载)
- lucene.net的一些基本使用方法和概念
- Lucene 源代码剖析-9 索引创建过程
- lucene索引过程详解
- lucene-2.9.0 索引过程(二) FreqProxTermsWriter
- Lucene的一些基本使用方法和概念 (JAVA)
- 有必要澄清两个基本概念--算法和过程的关系以及关于程序设计方法论的一些看法
- Lucene的一些基本使用方法和概念 (JAVA)
- [转帖]lucene-2.9.0 索引过程(一) TermsHashPerField
- Lucene学习总结之四:Lucene索引过程分析(1)