通过 ID索引号 遍历目标网页里链接的所有网页

使用的系统：Windows 10 64位
Python 语言版本：Python 2.7.10 V
使用的编程 Python 的集成开发环境：PyCharm 2016 04
我使用的 urllib 的版本：urllib2

注意： 我没这里使用的是 Python2 ，而不是Python3

一 . 前言

通过之前两节（爬取一个网页 的网络爬虫 和 解决爬取到的网页显示时乱码问题），我们终于完成了最终的

download()

简单的说：就是利用一些网站结构的弱点，更加轻松地访问所有内容。

二 . 原理

对于一些网站，它里面的链接网址是由索引号设定的。举个例子：
下面这些网页的URL是同一个站点的：

http://example.webscraping.com/view/Afghanistan-1
http://example.webscraping.com/view/Aland-Islands-2
http://example.webscraping.com/view/Albania-3

它们之间有规律，前面（

http://example.webscraping.com/view/

一般情况下，Web服务器会忽略ID索引号跟随的这个字符串，（这个字符串叫着：页面别名），只使用ID来匹配数据库中的相关记录。也就是说：http://example.webscraping.com/view/1 这个网址也可以使用，得到的结果和访问 http://example.webscraping.com/view/Afghanistan-1 是一样的。

所以，我们只使用ID索引号是行得通的，网页依然可以成功加载。

三 . 代码

现在我们将来忽略页面别名，只遍历ID来下载这个站点（

http://example.webscraping.com/view/

简单的程序如下。这段代码我对ID索引号进行遍历，直到出现下载错误时停止，（我们现在就假设此时为：到达最后一个国家的页面。）

import itertools

def traverse_id():
for page in itertools.count(1):
url = 'http://example.webscraping.com/view/%d' % page
html = download(url)
if html is None:
break
else:
# success - can scrape the result
pass

download()

四 . 运行：

先启动 Python27 的终端交互界面，执行下面的命令：

> C:\Python27\pytho
n.exe -i 1-4-3-id-traverse.py

执行：

>>> traverse_id()

输出：

Downloading:  http://example.webscraping.com/view/1
Downloading:  http://example.webscraping.com/view/2
Downloading:  http://example.webscraping.com/view/3
Downloading:  http://example.webscraping.com/view/4
Downloading:  http://example.webscraping.com/view/5

上面这段代码是存在一个缺陷的：可能目标站点的某些ID索引号的网页已经被删除了，就是目标站点数据库的ID索引号不是连续的。那么，上面这段程序访问到目标站点的某个间断点，爬虫就会立即退出。所以我们需要对上面的代码进行升级。

五 . 代码升级：

下面的代码是升级后的代码。程序会在连续发生多次下载错误后才会退出程序。

import itertools

# maximum number of consecutive download errors allowed
max_errors = 5
# current number of consecutive download errors
num_errors = 0

for page in itertools.count(1):
url = 'http://example.webscraping.com/view/%d' % page
html = download(url)
if html is None:
# received an error trying to download this webpage
num_errors += 1
if num_errors == max_errors:
# reached maximum number of
# consecutive errors so exit
break
else:
# success - can scrape the result
# ...
num_errors = 0

上面这个程序就是实现了一个：如果连续5次下载错误才停止遍历 的功能。这样做就可以很大程度上降低了遇到间断点时，过早停止遍历的风险。

搞定

总结：

在爬取网站时，使用遍历ID索引号是一个很便捷的方法。但是：

1 . 一些网站会检查页面别名是否满足预期，如果不是，则会返回

404 Not Found

所以在爬取网站的时候，使用的方法要根据网站的特点来选择使用。
下一节，我介绍在一个网页中使用正则表达式来得到这个网页中所有的链接URL。