使用htmlparser爬虫技术爬取电影网页的全部下载链接

昨天，我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲，而且还包括付费的在内，如果时间允许的话，可以获取更多的音乐下来，当然，也有小伙伴留言说这样会降低国人的知识产权保护意识，诚然，我们的重点在于如何灵活运用我们已学的技术，这就需要我们不断的练习，不停的思索和深入发掘，在了解了精髓和意义之后运用到实践中才是技术的最高境界。

今天呢，本着昨天的兴趣，想来爬一爬电影资源，中途为了找一个好用趁手的工具，也是费了不少心思，早上半天基本上都在学习和找资料的过程中度过，下午开始才进入状态，那么， 今天我们就来利用htmlparse爬取电影网页中的全部电影下载链接。

我们先来认识一下htmlparser:

HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。

TMLParser的核心模块是org.htmlparser.Parser类，这个类实际完成了对于HTML页面的分析工作。这个类有下面几个构造函数：

public Parser ();

public Parser (Lexer lexer, ParserFeedback fb);

public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;

public Parser (String resource, ParserFeedback feedback) throws ParserException;

public Parser (String resource) throws ParserException;public Parser (Lexer lexer);

public Parser (URLConnection connection) throws ParserException;

public static Parser createParser (String html, String charset);

对于大多数使用者来说，使用最多的是通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。ParserFeedback的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变.

这里比较有趣的一点是，如果需要设置页面的编码方式的话，不使用Lexer就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。

1、前期准备，下载htmlparse压缩包并配置到eclipse上，到下面网址可以下载

http://htmlparser.sourceforge.net/，解压后如下图所示



2、网页的分析与根据网页源码使用htmlparse

1、这里先分析与获取一个电影介绍页面的内容





我们现在先来获取一个页面的下载链接

/**
* 获取一个页面的下载链接
*/
public static String getMoiveDownloadUrl(String moiveIntroUrl) {
// 页面下载连接保存在这里
String moiveDownLoadUrl = "";
try {
// 首先根据页面URL建立一个Parser.
Parser parser = new Parser(moiveIntroUrl);
// 使用parser中extractAllNodesThatMatch方法，这个有许多的过滤器，可以帮助我们过滤出我们想要的内容,具体可以看api的介绍
// 这里我们使用链接文本过滤器，可以过滤出链接里面含ftp的内容，这样就可以取出我们想要的链接
NodeList nodelist = parser.extractAllNodesThatMatch(new LinkStringFilter("ftp"));
for (int i = 0; i < nodelist.size(); i++) {
LinkTag tag = (LinkTag) nodelist.elementAt(i);
moiveDownLoadUrl = tag.getLink();
}
} catch (ParserException e) {
e.printStackTrace();
}
return moiveDownLoadUrl;
}

2、获取一个分页里的所有电影介绍页面

/**
*
* 获取一个分页里的所有电影介绍页面
*/
public static List getAllMoiveUrlFromOneList(String pageListUrl) {
// 将链接地址以集合的形式返回出去
List<String> allMoiveUrl = new ArrayList<String>();
try {
Parser parser = new Parser(pageListUrl);
// 这里我们使用属性过滤器，可以帮助我们过滤一些属性特殊或者属性里面值唯一的标签
NodeList nodelist = parser.extractAllNodesThatMatch(new HasAttributeFilter("class", "ulink"));
for (int i = 0; i < nodelist.size(); i++) {
LinkTag tag = (LinkTag) nodelist.elementAt(i);
// 将取出的分页链接拼接一下，放入到集合中来。
allMoiveUrl.add("http://www.ygdy8.net" + tag.getLink());
}
} catch (ParserException e) {
e.printStackTrace();
}
return allMoiveUrl;
}

3、获取电影网里面的所有分页

/**
*获取电影网里面的所有的分页
*/
public static List getAllPage() {
// 将链接地址以集合的形式返回出去
List<String> allPage = new ArrayList<String>();
try {
Parser parser = new Parser("http://www.ygdy8.net/html/gndy/jddy/index.html");
//http://www.ygdy8.net/html/gndy/jddy/index.html
NodeList nodelist = parser.extractAllNodesThatMatch(new TagNameFilter("option"))
.extractAllNodesThatMatch(new HasAttributeFilter("value"));
for (int i = 0; i < nodelist.size(); i++) {
OptionTag tag = (OptionTag) nodelist.elementAt(i);
if (tag.getAttribute("value").contains("list")) {
allPage.add("http://www.ygdy8.net/html/gndy/jddy/" + tag.getAttribute("value"));
}
}
} catch (ParserException e) {
e.printStackTrace();
}
return allPage;
}

OK。至此，我们就可以得到全部分页的链接，各个电影介绍页面的链接，介绍页面里的下载链接。接下来我们要做的就是将这三个方法整合起来，获得全部电影的下载链接。

/**
*
* 功能：保存数据到文件中
* @param content 要保存的内容
* @param fileName 目标文件名（路径）
*
*/
public static boolean writeContentToFileTwo(String content, String fileName) {
boolean flag = false;
try {
PrintWriter pw = new PrintWriter(new OutputStreamWriter(new FileOutputStream(fileName, true)));
pw.println();
pw.print(content);
pw.flush();
pw.close();
flag = true;
} catch (FileNotFoundException e) {
e.printStackTrace();
flag = false;
}
return flag;
}

public static List getAllMoive() {
List<String> movieList = new ArrayList<String>();
// 得到全部的分页链接
List<String> allPage = getAllPage();
for (Iterator iterator = allPage.iterator(); iterator.hasNext();) {
String pageListUrl = (String) iterator.next();
List<String> allMoiveUrl = getAllMoiveUrlFromOneList(pageListUrl);
for (Iterator iterator2 = allMoiveUrl.iterator(); iterator2.hasNext();) {
String moiveIntroUrl = (String) iterator2.next();
String moiveDownLoadUrl = getMoiveDownloadUrl(moiveIntroUrl);
writeContentToFileTwo(moiveDownLoadUrl, "a.txt");
movieList.add(moiveDownLoadUrl);
}
}
return movieList;
}
public static void main(String[] args) {
getAllMoive();
}

效果如下图所示：



好啦，大功告成啦！是不是很简答呢。

其实这个工具的使用是不复杂的，流程也很清晰，问题的关键在于如何在一个庞大的html页面中获取你想要的内容，可以多一点查看各种的节点过滤器，它可以帮助我们选出我们想要的内容，每次在爬取网页之前我们都要花大量时间去分析一个网页，找到我们想要的内容，不能多也不能少，这我觉得才是爬虫的使用的重点。

如果您对本文有什么异议或者发现有什么问题，欢迎留言，发表您的看法和观点。

附上项目源码和全部电影下载链接的excel：https://git.oschina.net/AuSiang/myBug/attach_files