Lucene&Solr(之一)-全文索引、入门程序

什么是全文检索

1、生活中的数据类型分成：
a、结构化数据：类型固定、格式固定、有限长度的数据。如数据库中的数据
b、非结构化数据：格式不固定、长度不固定的数据。如txt文档、word文档和excel文档、pdf等。

2、数据查询：
结构化数据查询：一般使用sql进行查询( Structure Query Language )。
非结构化数据查询：

a、通过顺序检索，一个一个看……
b、自己写程序，通过IO流读取，匹配字符串。
c、把非结构化数据变成结构化数据。
如：将一段英文文本根据空格拆分，得到单词列表，记录下单词和文本的关系。
查询时只需要查询单词列表，根据单词和文件的对应关系找到文件。基于单词列表创建索引提高查询速度。
这个过程就叫全文检索。

3、全文检索：
这种先建立索引，再对索引进行搜索的过程就叫全文检索。一次创建多次查询。

Lucene实现全文检索的流程

Lucene可以实现全文检索，Lucene是apache旗下一个开源的全文检索引擎工具包。

全文检索的应用场景：
1、搜索引擎：百度一下等
2、电商搜索：淘宝、天猫等
3、论坛搜索：论坛、微博等

Lucene实现全文检索的流程

1、创建索引

原始文档：基于哪些内容进行搜索。
如果是文件搜索，要查询的文件就是原始文档；
搜索引擎：整个互联网的网页内容
电商搜索：所有商品数据

a、获得原始文档

如果是文件：使用IO流读取文件内容

搜索引擎：使用爬虫抓取网页
在internet上采集信息的软件通常称为爬虫或蜘蛛，也成网络机器人。爬取互联网的网页，原理其实是模拟浏览器。
Heritrix：java开发的开源的爬虫，用户可以自己使用它从网上抓取资源，良好的可扩展性，方便用户自定逻辑。
Nutch：apache旗下爬虫程序。lucene&solr都是apache旗下的。
jsoup：java的解析html工具包，可通过DOM、CSS以及类似于JQuery的操作方法取出和操作数据。

电商网站：查询数据库。

b、创建文档对象。每个原始文档对应一个文档对象Document对象。
向Document中添加field，field叫做域。每个field中保存原始文档的一个属性。
每个Document可以有多个field，不同的Document可以有不同的field，同一个Document可以有相同的Field（域
名和域值都相同）
每个文档都有唯一id。

c、分析文档内容
1、先对文档内容根据空格进行字符串拆分，得到一个单词列表。
2、去除标点符号，去除停用词，转换成小写。
最终得到一个词汇单元流（理解为一个一个的单词）。
基于词汇单元流创建索引。索引是一个提高查询速度的数据结构。

d、创建索引库
把索引和文档对象写入磁盘。
索引部分、文档部分、关键字和文档之间的对应关系。

每个单词叫做term，term包括两部分内容，一个关键字和关键字所在的域。
如文件名中包含apache和文件内容中包含的apache是不同的term。

2、查询索引

a、用户查询接口
用户输入查询条件的地方。如百度搜索框

b、接收查询条件
查询对象中包含要搜索的域和要搜索的内容。
lucene基本查询语法：
域的名称：关键字---fileName:lucene

c、查询索引
查询索引库中的索引部分，在某个域上查询关键字。找到关键字得到文档id列表。

d、渲染结果
1、根据id获取文档对象。
2、从文档的field中取内容，展示给用户。
3、关键字高亮显示、相关度排序、分页等效果。

入门程序

1、jar包
lucene核心core文件夹下jar、analyzer-common包、common-io包

2、创建索引库的实现步骤：
1）创建java工程
2）导入lucene相关包

3）创建Directory对象，索引库保存的目录
4）创建IndexWriterConfig对象，参数1：lucene的版本号，参数2：分析器对象，使用标准分析器（英文文本）
5）创建IndexWriter对象，传入IndexWriterConfig对象
6）使用IO流，读取文件信息
7）对应每个文件创建一个Document对象
8）创建field对象，向文档对象中添加域
9）把文档对象写入索引库
10）关闭流

代码实现：

@Test
public void createIndex() throws Exception{
// 3）创建Directory对象，索引库保存的目录
//Directory directory = new RAMDirectory();		// 索引库存放位置：内存
Directory directory = FSDirectory.open(new File("F:\\index"));
// 4）创建IndexWriterConfig对象，参数1：lucene的版本号，参数2：分析器对象，使用标准分析器（英文文本）
Analyzer analyzer = new StandardAnalyzer();
IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_4_10_3, analyzer);
// 5）创建IndexWriter对象，传入IndexWriterConfig对象
IndexWriter writer = new IndexWriter(directory, config);

File file = new File("E:\\就业\\课程\\Lucene&Solr\\00.参考资料\\searchsource");
for (File f : file.listFiles()) {
// 6）使用IO流，读取文件信息
String fileName = f.getName();
String fileContent = FileUtils.readFileToString(f);
String filePath = f.getPath();
long fileSize = FileUtils.sizeOf(f);
// 7）对应每个文件创建一个Document对象
Document document = new Document();
// 8）创建field对象，向文档对象中添加域
// 参数1：域的名称，参数2：域的内容，参数3：是否存储
Field field1 = new TextField("name", fileName, Store.YES);
Field field2 = new TextField("content", fileContent, Store.YES);
Field field3 = new TextField("path", filePath, Store.YES);
Field field4 = new TextField("size", fileSize + "", Store.YES);
document.add(field1);
document.add(field2);
document.add(field3);
document.add(field4);
// 9）把文档对象写入索引库
writer.addDocument(document);
}
// 10）关闭流
writer.close();
}

3、查询索引的实现步骤：
1）打开索引库，以读的方式打开。创建IndexReader对象，需要创建Document对象
2）创建IndexSearcher对象，传入IndexReader对象。
3）创建一个查询对象，Query的子类TermQuery，传入两个参数：要搜索的域和要查询的内容
4）执行查询，得到一个文档id列表
5）遍历列表根据文档的id取文档对象
6）从域中取内容，并打印
7）关闭流

代码实现：

@Test
public void searchIndex() throws Exception {
// 1）打开索引库，以读的方式打开。创建IndexReader对象，需要创建Document对象
Directory directory = FSDirectory.open(new File("F:\\index"));
IndexReader reader = DirectoryReader.open(directory);
// 2）创建IndexSearcher对象，传入IndexReader对象。
IndexSearcher searcher = new IndexSearcher(reader);
// 3）创建一个查询对象，Query的子类TermQuery，传入两个参数：要搜索的域和要查询的内容
Query query = new TermQuery(new Term("name", "apache"));
// 4）执行查询，得到一个文档id列表
//参数1：查询对象，参数2：查询结果返回的最大记录数，返回最多10个
TopDocs topDocs = searcher.search(query, 10);
// 查询的总记录数
System.err.println("本次查询结果总记录数：" + topDocs.totalHits);
// 5）遍历列表根据文档的id取文档对象
for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
// 去文档id
int id = scoreDoc.doc;
// 根据id去文档对象
Document document = searcher.doc(id);
// 6）从域中取内容，并打印
System.out.println("==========================================================================================");
System.out.println(document.get("name"));
System.out.println(document.get("path"));
System.out.println(document.get("size"));
//System.out.println(document.get("content"));
}
// 7）关闭流
reader.close();
}

TopDocs

lucene搜索结果可通过TopDocs遍历，提供属性：
totalHits
：匹配搜索条件的总记录数

scoreDocs
：相关度高的顶部匹配记录，长度<=search方法指定的n。

分析器

在使用分析器之前，需要先查看分析器的分词效果。
每个分析器对象，都有个tokenStream的方法，返回一个TokenStream对象，通过查看TokenStream对象中的内容，分词效果。
使用方法：
1）创建Analyzer对象
2）调用Analyzer的tokenStream，得到TokenStream对象，参数就是待分析的文本。
3）设置一个引用，通过这个引用查看分词效果
4）调用TokenStream的reset方法。初始化这个引用
5）循环遍历TokenStream打印结果。

代码实现：

@Test
public void testTokenStream() throws Exception {
// 创建一个标准分词器
Analyzer analyzer = new StandardAnalyzer();
// 获取TokenStream对象
TokenStream tokenStream = analyzer.tokenStream("此处写域名", "The Spring Framework provides a comprehensive programming and configuration model.");
// 3）设置一个引用，通过这个引用查看分词效果
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
// 4）调用TokenStream的reset方法。初始化这个引用
tokenStream.reset();
// 5）循环遍历TokenStream打印结果。
while(tokenStream.incrementToken()) {
System.out.println(charTermAttribute.toString());
}
}

中文分析器

推荐第三方：
这里使用 IKAnalyzer
1、添加jar包到工程中。
2、第三方的配置文件、扩展词典文件、停用字词典文件配置到classpath下

注意：必须保证词典文件编码格式为 utf-8

代码实现：

@Test
public void testTokenStream() throws Exception {
Analyzer analyzer = null;
// 创建一个标准分词器
//analyzer = new StandardAnalyzer();
// 二分法分词
//analyzer = new CJKAnalyzer();
//扩展性差
//analyzer = new SmartChineseAnalyzer();
// 第三方 IK-analyzer
analyzer = new IKAnalyzer();

// 获取TokenStream对象
String str = "Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，";
TokenStream tokenStream = analyzer.tokenStream("此处写域名", str);
// 3）设置一个引用，通过这个引用查看分词效果
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
// 4）调用TokenStream的reset方法。初始化这个引用
tokenStream.reset();
// 5）循环遍历TokenStream打印结果。
while(tokenStream.incrementToken()) {
System.out.println(charTermAttribute.toString());
}
}