自己动手写搜索引擎（常搜吧历程六#解析文档之PDF#）（Java、Lucene、hadoop）

1、使用PDFBox处理PDF文档

PDF全称Portable Document Format，是Adobe公司开发的电子文件格式。这种文件格式与操作系统平台无关，可以在Windows、Unix或Mac OS等操作系统上通用。

PDF文件格式将文字、字型、格式、颜色及独立于设备和分辨率的图形图像等封装在一个文件中。如果要抽取其中的文本信息，需要根据它的文件格式来进行解析。幸好目前已经有不少工具能帮助我们做这些事情。

2、PDFBox的下载

最常见的一种PDF文本抽取工具就是PDFBox了，访问网址http://sourceforge.net/projects/pdfbox/，进入如图7-1所示的下载界面。读者可以在该网页下载其最新的版本。本书采用的是PDFBox-0.7.3版本。PDFBox是一个开源的Java PDF库，这个库允许你访问PDF文件的各项信息。在接下来的例子中，将演示如何使用PDFBox提供的API，从一个PDF文件中提取出文本信息。

3、在Eclipse中配置

以下是在Eclipse中创建工程，并建立解析PDF文件的工具类的过程。

（1）在Eclipse的workspace中创建一个普通的Java工程：ch7。

（2）把下载的PDFBox-0.7.3.zip解压。

（3）进入external目录下，可以看到，这里包括了PDFBox所有用到的外部包。复制下面的Jar包到工程ch7的lib目录下（如还未建立lib目录，则先创建一个）。

l bcmail-jdk14-132.jar

l bcprov-jdk14-132.jar

l checkstyle-all-4.2.jar

l FontBox-0.1.0-dev.jar

l lucene-core-2.0.0.jar

然后再从PDFBox的lib目录下，复制PDFBox-0.7.3.jar到工程的lib目录下。

（4）在工程上单击右键，在弹出的快捷菜单中选择“Build Path->Config Build Path->Add Jars”命令，把工程lib目录下面的包都加入工程的Build Path。

4、主要类介绍：

PDFTextStripper：核心提取组件，包含设置是否排序、抽取的起始页和结束页等方法。

PDDocument：内存中保存的PDFDocument对象，提供从文件系统和链接地址装入文件两种方式。

LucenePDFDocument：是主要用于和lucene集成的类，提供getDocument方法（也重载为接收url和本地文件两种方式），将PDF文件转化为lucene中的Document对象，并自动提取字段加入Document，可直接通过IndexWriter将其写入索引中。

5、使用PDFBox解析PDF内容

在刚刚创建的Eclipse工程中，创建一个ch7.pdfbox包，并创建一个PdfboxTest类。该类包含一个getText方法，用于从一个PDF中获取文本信息，其代码如下。

import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileWriter;

import org.pdfbox.pdfparser.PDFParser;
import org.pdfbox.util.PDFTextStripper;

public class PdfParser {

/**
* @param args
*/
// TODO 自动生成方法存根

public   static   void   main(String[]   args)   throws   Exception{
PDDocument doc = PDDocument.load("d:/文档.pdf");
int pagenumber = doc.getNumberOfPages();
FileOutputStream fos = new FileOutputStream("d:/文档.txt");
Writer writer = new OutputStreamWriter(fos,"UTF-8");
PDFTextStripper stripper = new PDFTextStripper();

ts.setStortByPosition(false);
//          stripper.setWordSeparator("");  //这样中文输出就不会带空格
stripper.setStartPage(1);
stripper.setEndPage(4);
stripper.writeText(doc,writer);
doc.close();
writer.close();

}
}

下面我们来看一个索引类

package com.qianyan.pdf;

import java.io.File;
import java.io.IOException;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexWriter;

public class TestLucenePDFDocument {

public static void main(String[] args) throws IOException{

String indexDir = "d:/luceneindex";
Analyzer analyzer = new PaodingAnalyzer();
IndexWriter writer = new IndexWriter(indexDir, analyzer, true);
Document doc = LucenePDFDocument.getDocument(new File("d:/explain.pdf"));
writer.addDocument(doc);
writer.close;
}
}

下面介绍解析PDF的另一种方式 （XPDF处理PDF文档）

1、首先需要去下载相应包，XPDF官网Download （xpdfbin-win-3.03.zip、xpdf-chinese-simplified.tar.gz）

2、配置：

1）在这里把解压后的xpdf-chinese-simplified拷贝到解压后xpdfbin-win-3.03的doc目录下

2）找到doc目录下的sample-xpdfrc的文件，改名为xpdfrc，然后打开进行编辑 ：

1）#textEncoding UTF-8 （找到此行，将前面的#号去掉）

2）文件末尾添加以下代码（注意：目录为相应解压目录）：

cidToUnicode Adobe-GB1 c:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicode
unicodeMap ISO-2022-CN c:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMap
unicodeMap EUC-CN c:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMap
unicodeMap GBK c:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMap
cMapDir Adobe-GB1 c:/xpdftest/xpdf/xpdf-chinese-simplified/CMap
toUnicodeDir c:/xpdftest/xpdf/xpdf-chinese-simplified/CMap

3）代码实现，为了方便我们运行命令行的xpdf，我们封装了一个XpdfParams类

package com.qianyan.xpdf;

public class XpdfParams {

private String convertor = "";
private String layout = "";
private String encoding = "";
private String source = "";
private String target = "";

public String getConvertor() {
return convertor;
}
public void setConvertor(String convertor) {
this.convertor = convertor;
}
public String getLayout() {
return layout;
}
public void setLayout(String layout) {
this.layout = layout;
}
public String getEncoding() {
return encoding;
}
public void setEncoding(String encoding) {
this.encoding = encoding;
}
public String getSource() {
return source;
}
public void setSource(String source) {
this.source = source;
}
public String getTarget() {
return target;
}
public void setTarget(String target) {
this.target = target;
}

public String getCMD(){
return convertor + " " + layout + " " + encoding + " " + source + " " + target + " ";
}

}

我们来看TestRuntime类，该类通过java的运行类查找我们配置好的xpdf.exe然后根据要求转换pdf到txt文本中。

package com.qianyan.xpdf;

import java.io.IOException;

public class TestRuntime {

public static void main(String[] args) throws IOException{
XpdfParams xparam = new XpdfParams();
xparam.setConvertor("D:\\program files (x86)\\xpdf\\bin64\\pdftotext.exe");
xparam.setEncoding("-enc UTF-8");
xparam.setSource("E:\\lucene.pdf");
xparam.setTarget("E:\\lucene.txt");
String cmd = xparam.getCMD();
Runtime.getRuntime().exec(cmd);
}
}

解析PDF到此结束，下章我们来学习对HTML的解析 。