基于Heritrix+Lucene的搜索引擎构建（3）——页面信息内容抽取

搜索引擎无非是提供对Web内容的方便检索，以至于能够便捷的获取浏览到相关的页面。

因此，在通过Heritrix等网络蜘蛛获取Web资源以后，首要的任务就是抽取Web页面的内容。

基于java的页面抽取工具有很多，例如，抽取HTML页面的有HtmlParser、Jsoup等，至于Word、Excel等文件的内容，也有相应的工具。

关于HtmlParser、Jsoup等页面内容抽取可以参考相关文献.如《HTML抽取工具Jsoup》。

关于Word等文件，建议学习使用一款叫POI的开源工具来实现：

Apache POI是一个开源的Java读写Excel、WORD等微软OLE2组件文档的项目。目前POI已经有了Ruby版本。

结构：

HSSF － 提供读写Microsoft Excel XLS格式档案的功能。

XSSF － 提供读写Microsoft Excel OOXML XLSX格式档案的功能。

HWPF － 提供读写Microsoft Word DOC格式档案的功能。

HSLF － 提供读写Microsoft PowerPoint格式档案的功能。

HDGF － 提供读Microsoft Visio格式档案的功能。

HPBF － 提供读Microsoft Publisher格式档案的功能。

HSMF － 提供读Microsoft Outlook格式档案的功能。

POI项目网站：http://poi.apache.org/.

最常见的一种PDF文本抽取工具就是PDFBox，PDF文档可以使用PDFBox来处理，http://pdfbox.apache.org/。

以下是一些文档内容抽取的例子代码。

Html文档的内容抽取HtmlParser.java:

import java.io.File;
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import GEsearcher.encode.FileEncode;
import GEsearcher.index.FileDocument;

/**
* 解析html
* @author Shilong
*
*/
public class HtmlParser {

private String title;
private String content;
private String url;
private String path;
private FileDocument filedocument;

public HtmlParser(String path)
{
//nothing
this.path=path;
filedocument=new FileDocument(path);
AnalysicDocument();//解析
//System.out.println("测试:"+filedocument.getUrl());
}

//获取待分析文件的File对象
public File getFile()
{
return filedocument.getFile();
}

//获取待分析文件编码
public String getEncoding()
{
String val="GBK";
FileEncode fe=new FileEncode(path);
String encode= fe.getEncode();
if(encode.equals("GB-2312")||encode.equals("gb-2312"))
{
val="GB2312";
}else if(encode.equals("UNKNOWN"))
{
val="UTF-8";
}else
{
val=encode;
}
return val;
}

//分析文件
public void AnalysicDocument()
{
File infile=getFile();
try {
Document doc = Jsoup.parse(infile, getEncoding());
title=doc.title();  //获取标题
content=doc.text();  //获取内容
url=filedocument.getUrl(); //获取url
}
catch (IOException e) {
e.printStackTrace();
}
}

//数据的返回
//获取待分析文件的url
public String getUrl()
{
return this.url;
}
public String getTitle()
{
return this.title;
}
public String getContent()
{
return this.content;
}
}

使用tm-extractors实现的Word抽取WordReader.java：

import java.io.File;
import java.io.FileInputStream;

import org.textmining.text.extraction.WordExtractor;

public class WordReader {

private String FilePath;

public WordReader(String FilePath){
this.FilePath =  FilePath;
}

public String getText() {
String text = "";
FileInputStream in;
try {
in = new FileInputStream(new File(FilePath));
WordExtractor extractor= new WordExtractor();
text = extractor.extractText(in);
} catch (Exception e) {
e.printStackTrace();
}
return text;
}

public String getTitle(){
File f = new File(FilePath);
String name = f.getName();

return name;
}

public String getUrl(){
return FilePath;
}

Txt文件内容的读取TxtReader.java：

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;

public class TxtReader {

private String FilePath;

public TxtReader(String FilePath){
this.FilePath = FilePath;
}

public String getText(){
String str="";
try{
BufferedReader br=new BufferedReader(new FileReader(FilePath));
String r=br.readLine();
while(r!=null){
str+=r;
r=br.readLine();
}
}catch(Exception e){
e.printStackTrace();
}
return str;
}

public String getTitle(){
File f = new File(FilePath);
String name = f.getName();
return name;
}

public String getUrl(){
return FilePath;
}
}

总之，在建立搜索索引之前，先对Web页面资源进行文本的抽取处理。