自己动手写搜索引擎（常搜吧历程一#认识Lucene#）（Java、Lucene、hadoop）

今天起，着手写第二个毕业设计，也在博客上记录下来项目的成长过程，与大家共勉 ~

首先、要做一个自己的企业内部搜素引擎呢，要认识Lucene：

1、Lucene的贡献者Doug Cutting是一位自身全文索引/检索专家，曾经是V-Twin搜索引擎（Apple的Copland操作系统的成就之一）的主要开发者，后在Excite担任高级系统架构设计师，目前从事于一些INTERNET底层架构的研究。他贡献出的Lucene的目标是为各种中小型应用程序加入全文检索功能。2001年年底成为APACHE基金会jakarta的一个子项目。

2、Lucene是一个基于Java的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。Lucene目前是Apache Jakarta家族中的一个开元项目，也是目前最为流行的基于Java开元全文检索工具包。

下面来开始Lucene的学习：

说到Java开发，首要步骤一般搜索去官方下载对应的开发包，这里不再介绍，如果这点还做不到，就不用往下继续了。因笔者才疏学浅，自己搞不了API，这里就使用旧的 lucene-2.4.0 版本来学习。

新建一个Java项目工程，本节需要引入三个jar包 lucene-analyzers-2.4.1.jar、lucene-core-2.4.1.jar、lucene-highlighter-2.4.1.jar

import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

public class TestLucene {

public static void main(String[] args)throws Exception{

Analyzer analyzer = new StandardAnalyzer();  //分析器
TokenStream tokenStream = analyzer.tokenStream("", new StringReader("this is first lucene project"));
Token token = new Token();
while(null != tokenStream.next(token))
System.out.println(token.term());

}
}

输出结果：

first
lucene
project

下面我们来看以下Lucene的核心索引类：

IndexWriter：建立索引的核心组件。使用IndexWriter可以新建一个索引并将对象文件逐一添加到索引当中，但不可以执行读取和搜索操作。

Directory：代表一个lucene索引项的位置。这是一个抽象类，其具体实现有FSDirectory和RAMDirectory。前者将索引写入硬盘，对应于真实的文件系统路径，后者将索引写入内存 ，相比于前者效率高但可用空较小。

Analyzer：对文本内容进行分析的抽象类，具体实现中有停用词切除、词干分析、大小写切换等功能。

Document：可以视为文本经过处理后所对应的对象，由多个字段组成，如路径、标题、摘要、修改日期等等。

Field：字段，对应于文本的某一部分数据，便于检索时根据结果提取。

Filed使用：

import org.apache.lucene.document.Field;

public class TestField {

public static void main(String[] args){
Field field = new Field("fname", "fvalue", Field.Store.YES, Field.Index.ANALYZED);
}
}

fname、fvalue为field的名与值，后面跟两个参数指存储和索引的几种操作。

Lucene与数据库的类比

概念：

数据库 Lucene

列/字段 Field

行/记录 Document

操作：

查询（SELECT） Searcher

添加（INSERT） IndexWriter.addDocument

删除（DELETE） IndexReader.delete

修改（UPDATE） 不支持（可删除后重新添加）

系统内容实现简析：

设有两篇文章1和2

文章1的内容为：Tom lives in Guangzhou , I live in Guangzhou too .

文字2的内容为：He once lived in Shanghai .

1)关键字处理，例如：lives - live （还原）。

在Lucene中有Analyzer类完成经过上面处理后

文章1的所有关键词为：[tom] [live] [i] [live] [guangzhou]

文章2的所有关键词为：[he] [live] [shanghai]

2）倒排索引

上面的对应关系是：“文章号“对”文章中所有关键词“。倒排索引把这个关系倒过来，变成：”关键词“对”拥有该关键词的所有文章号“。

文章1，2经过倒排变成（关键词 文章号）

guangzhou 1

he 2

i 1

live 1，2

shanghai 2

tom 1

3）加上”出现频率“和”出现位置“信息后，我们的索引结构变为：

关键词 文章号 [出现频率] 出现位置

guangzhou 1 [2] 3，6

he 2 [1] 1

i 1 [1] 4

live 1 [2]，2 [1] 2，5，2

shanghai 2 [1] 3

tom 1 [1]

以live这行为例我们说明一下该结构：live在文章1中出现了2词，文章2中出现了一次，他的出现位置为”2，5，2“这表示什么呢？我们需要结合文章号和出现频率来分析，文章1中出现了2词，”2，5“就表示live在文章1中出现的两个位置，文章2中出现了一次，剩下的”2“就表示live是文章2中第2个关键字。