一种提取HTML网页正文的方法

这里所说的正文提取主要是针对新闻页面等网页的主体是文字的HTML页面。在做一些与文本处理相关的实验时往往需要大量的文本，虽然网络上已经存在了一些开放数据集如搜狗语料库，但是有的时候也需要根据具体的需求来爬取特定的网站。在我们通过算法获得了需要的HTML页面以后，如何获取页面的正文是一个需要考虑的问题。如果是针对某一个网站的爬取工作，同一网站编码风格往往是一致的，这时只需要简单的浏览一下包含正文的标签，就能发现规律（一个网站的网页正文一般都包含在具有指定id或class的标签下，或者可以根据多个属性的组合来定位正文，因为所有的包含正文的标签结构是一致的）。但是如果在像百度新闻这样的搜索平台中爬新闻，不同的网页来自于不同的网站，没有固定的结构，就需要一种通用的方法。这里我介绍一种自己想到的方法，针对绝大多数的新闻网站都可以有效的提取正文。

这个方法其实思路很简单，分为以下三个步骤：

1. 提取所有的div标签。

2. 提取每一个div标签里包含的p标签内容并保存在变量content中，对于div标签中嵌套的div标签直接过滤掉。

3. 保存具有最长size的content作为该网页的正文。

在研究了很多HTML页面之后，我发现所有的正文都包含在div标签中，而且他们之间的层次关系很近，所以以div标签为出发点可以最大程度减小搜索范围。由于正文多被一个或多个p标签包含，所以单纯的搜索p标签是不切实际的，但是p标签可以作为一种最细化的条件来进行div标签内正文的提取，因为有的时候div标签里还会有其他的标签包括文本内容，比如a标签等，这些是不算正文内容的。当然如果一个div中嵌套了包含正文的div，假如这个div中又恰好包含了含p标签的无用文本，那么这个算法会把正文以及无用文本都提取出来，为了避免这种情况的发生，我们在遍历div标签时如果遇到嵌套的div会直接跳过（反正之后这个嵌套div还是会被我们搜索的）。最后，由于该页面是以文字内容为主体的，所以包含最多字符的div标签，也就是最长size的content为该网页的正文。

下面贴一下demo代码：

package getContent;

import java.io.IOException;
import java.util.Stack;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class getContent {

static int index;
/**
* @param args
* @throws IOException
*/
public static void main(String[] args){
String url = "http://www.taiwan.cn/taiwan/tw_Story/201301/t20130125_3590110.htm";
Document doc = null;
try {
doc = Jsoup.connect(url).get();
} catch (IOException e) {
e.printStackTrace();
}
String content = GetDocContent(doc);
System.out.println("网页正文如下：\n"+content);

}

private static String GetDocContent(Document doc) {
Elements divs = doc.body().getElementsByTag("div");
int max = -1;
String content = null;
for (int i=0; i<divs.size(); i++) {
Element div = (Element)divs.get(i);
String divContent = GetDivContent(div);
if (divContent.length() > max) {
max = divContent.length();
content = divContent;
}
}
return content;
}

private static String GetDivContent(Element div) {
StringBuilder sb = new StringBuilder();
//考虑div里标签内容的顺序，对div子树进行深度优先搜索
Stack<Element> sk = new Stack<Element>();
sk.push(div);
while (!sk.empty()) {
//
Element e = sk.pop();
//对于div中的div过滤掉
if (e != div && e.tagName().equals("div")) continue;
//考虑正文被包含在p标签中的情况，并且p标签里不能含有a标签
if (e.tagName().equals("p") && e.getElementsByTag("a").size() == 0) {
String className = e.className();
if (className.length() != 0 && className.equals("pictext")) continue;
sb.append(e.text());
sb.append("\n");
continue;
} else if (e.tagName().equals("td")) {
//考虑正文被包含在td标签中的情况
if (e.getElementsByTag("div").size() != 0) continue;
sb.append(e.text());
sb.append("\n");
continue;

}
//将孩子节点加入栈中
Elements children = e.children();
for (int i=children.size()-1; i>=0; i--) {
sk.push((Element)children.get(i));
}
}

return sb.toString();
}

}
上面的代码使用了JSoup这个包，这是一个用来解析HTML的第三方开源包，网上有很多介绍JSoup的资料。另外对于div标签的遍历我采用的是深度优先搜索，这里主要是考虑到多个p标签情况时，保证这些p标签的相对位置不变，从而能保证正文被正常提取处理，这里记得每个p标签内容提取之后加一个回车。代码里还考虑了正文被包含在td标签的情况，这是我遇到的一些特殊网页出现的情况，一般并不常见。