第一个Python程序——博客自动访问脚本

第一个Python程序——博客自动访问脚本

动机

今天有朋友写信说他认为自己的wordpress博客内显示的访问统计信息不正常，希望我能为他制造一些访问信息，供他对比。朋友提出的请求是在短时间内快速打开100个不同的博客页面，以便他从产生的访问量变化中理解博客访问数据。

本人作为一个搞计算机的人，有把任何重复性劳动自动化的冲动，所以虽然点开100个网页的任务手工做并不复杂，但还是从一开始就彻底否定了。刚好想学Python很久了，于是就拿这次的小机会来学习一把，顺便记录下第一次的Python学习成果。

本文使用Python 2.7.3实现了一个自动访问博客的脚本，涉及以下技术点：

语言基础

容器（线性表、字典）

逻辑分支、循环

控制台格式化输出

HTTP客户端网络编程

处理HTTP请求

使用HTTP代理服务器

Python正则表达式

总览

自动访问博客页面这个操作实际上和网络爬虫做的事情差不多，基本流程如下：

图1 博客自动访问器工作原理

给访问器一个开始位置（例如博客首页URL）

访问器将URL指向的网页爬回（爬回网页这个操作本身相当于在浏览器中打开页面）

2中爬回的网页交给分析器分析。分析器分析后提取出其中的URL加入待访问URL列表，即URL库。然后从URL库中取出下一个要访问的页面URL

循环2、3步，直到达到某一终止条件程序退出

刚开始编程时，我们什么都没有，只有一个博客首页的URL。紧跟着这个URL需要解决的问题就是如何编程爬取URL指向的页面。爬取到了页面，才能算是访问了博客，也才能获得页面的内容，从而提取更多的URL，进行更进一步的爬取。

这样一来就带来了如何根据URL获取页面信息的问题，要解决这个问题，需要用到HTTP客户端编程，这也是接下来一节解决的问题。

urllib2：HTTP客户端编程

Python中可以实现HTTP客户端编程的库有好几个，例如httplib, urllib, urllib2等。使用urllib2是因为它功能强大，使用简单，并且可以很容易地使用HTTP代理。

使用urllib2创建一个HTTP连接并获取页面非常简单，只需要3步：

import urllib2

opener = urllib2.build_opener()

file = opener.open(url)

content = file.read()

content即为HTTP请求响应的报文体，即网页的HTML代码。如果需要设置代理，在调用build_opener()时传入一个参数即可：

opener =urllib2.build_opener(urllib2.ProxyHandler({‘http’: “localhost:8580”}))

ProxyHandler函数接受一个字典类型的参数，其中key为协议名称，value为host与端口号。也支持带验证的代理，更多细节见官方文档。

接下来要解决的问题就是从页面中分离出URL. 这就需要正则表达式。

正则表达式

正则表达式相关的函数位于Python的re模块中，使用前需import re

findall函数返回字符串中所有满足给定正则式的子串：

aelems = re.findall(‘’, content)

for aelem in aelems:

splits = aelem.split(”)

if len(splits) != 1:

aelem = splits[1]

print aelem

matches = re.match('href="(.*)"', aelem)

if matches isnot None:

url = matches.group(1)

if re.match(‘http:\/\/myblog.wordpress.com.*’, url) isnot None:

urllist.append(url)

return urllist

获取字符串格式的时间

def get_localtime():

return time.strftime(“%H:%M:%S”, time.localtime())

主函数

def begin_access():

starturl = 'http://myblog.wordpress.com/';
totalurl[starturl] = True
unusedurl[starturl] = True

print’seq\ttime\ttitle\turl’

i = 0

while i < 150:

nexturl = unusedurl.keys()[0];

del unusedurl[nexturl]

content = get_file_content(nexturl)

title = extract_title(content)
urllist = extract_url(content)

for url in urllist:

ifnot totalurl.has_key(url):

totalurl[url] = True

unusedurl[url] = True

print’%d\t%s\t%s\t%s’ %(i, get_localtime(), title, nexturl)

i = i + 1
time.sleep(2)

调用主函数

begin_access()