自学Python四 爬虫基础知识储备

　　首先，推荐两个关于python爬虫不错的博客：Python爬虫入门教程专栏 和 Python爬虫学习系列教程 。写的都非常不错，我学习到了很多东西！在此，我就我看到的学到的进行总结一下！

　　爬虫就是一个不断的去抓去网页的程序，根据我们的需要得到我们想要的结果！但我们又要让服务器感觉是我们人在通过浏览器浏览不是程序所为！归根到底就是我们通过程序访问网站得到html代码，然后分析html代码获取有效内容的过程。下面让我们从最简单的爬虫开始：

　　爬取一个页面源代码

　　在python中，抓取网页的库是urllib2。下面看一个最简单的例子：

import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
html = response.read()
print html

　　执行完成后你会发现窗口中打出了一堆代码，其实就是百度主页的html代码！（抵制百度！！！）

　　我们来看一下urlopen的用法：

>>> help(urllib2.urlopen)
Help on function urlopen in module urllib2:

urlopen(url, data=None, timeout=<object object>, cafile=None, capath=None, cadefault=False, context=None)

　　第一个参数为url，第二个为要发送的数据，第三个是超时时间。其余的我们一般不用，就不解释了！第二三个参数不是必须的，因为都有默认值，data默认值为None，timeout默认值为socket._GLOBAL_DEFAUTL_TIMEOUT。传入url之后，我们得到一个response对象，返回的信息就在这里面！通过response.read()获取里面的内容。同样的我们可以构造一个Request类，作为参数传入urlopen中，这个Request类中就包含url，data，timeout等内容。上面的代码我们可以写成这样：

import urllib2

request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()

　　这样是不是很清晰明了了？在构建Request的时候我们通常会加入很多内容，我们发出一个请求，服务器给我们一个响应。一个简单的爬虫就这样起飞了！

　　POST和GET数据传送

　　平常我们在浏览网页的时候难免涉及到登录注册，填写表单，或者跳转到某个页面，这时候我们要跟服务器进行交互，向服务器发送数据，发送数据的方式呢就是Post和Get，两者的区别在于GET方式直接以链接的形式访问，链接中包含所有的参数，如：http://www.baidu.com/shit?result=true 其中 result=true就是Get传递的数据，POST相当于Get就安全多了，它不会在链接上显示所有参数。

　　Post方式：

import urllib
import urllib2

values = {}
values['username'] = "977610289@qq.com"
values['password'] = "******"
data = urllib.urlencode(values)
url = "http://www.xxx.com/login?from=http://xxx/loginInfo"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()

　　在上面的代码中，我们创建了一个字典values，设置了username和password的值，然后通过urlencode函数将字典进行转码，命名为data，然后用url和data实例化了一个Request类，传递给urlopen()。

　　Get方式：

import urllib
import urllib2

values={}
values['username'] = "977610289@qq.com"
values['password']="******"
data = urllib.urlencode(values)
url = "http://www.xxx.com/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()

　　在上面的代码中，我们创建了一个字典values，设置了username和password的值，然后通过urlencode函数将字典进行转码，命名为data，然后我们把data拼接在了url中，我们会得到这样的url：http://www.xxx.com/login?username=977610289%40qq.com&password=******。

　　在实现一个爬虫的时候，我们要根据需要，选择post或者get方式进行访问！不过除了上面那些还不够，现在网站为了避免爬虫去访问会进行一些检测，如果检测不通过就不会响应你的请求，为了完全模拟浏览器工作，我们往往要设置一些headers属性，以及防盗链：

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  ,
'Referer':'http://www.zhihu.com/articles' }

3 request = urllib2.Request(url, data, headers)#利用data headers构造Request对象

　　有些网站可能会检测ip等，我们可能会用到urllib2的代理，有些网站响应过慢我们可以设置其timeout。在访问网站的情况下我们可能会遇到一些网站错误，我们要在程序中进行处理(一如既往的try... except...得到错误信息内容)：

import urllib2

req = urllib2.Request('http://www.xxx.com')
try:
urllib2.urlopen(req)
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
else:
print "OK"

　　常见的错误代码：400 非法请求 403 禁止访问 404 未找到资源 500 服务器内部错误 200 访问成功。

　　在网页访问过程中，不可避免的要用到cookies，我们的程序要模拟浏览器的行为，在访问网页的时候有时候要带上特定的cookies，这样才能成功访问网页。关于cookies我们用到了cookielib，cookielib模块提供可存储cookie的对象，以便于与urllib2配合使用进行网站访问，利用其中的CookieJar类捕获和发送cookie，实现模拟登录，维持登录状态等。

　　获取cookie保存到变量：

import urllib2
import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法，也可以传入request
response = opener.open('http://www.baidu.com')
for item in cookie:
print 'Name = '+item.name
print 'Value = '+item.value
#利用cookie请求访问另一个网址
gradeUrl = 'http://www.baidu.com/xxx/xx'
#请求访问
result = opener.open(gradeUrl)
print result.read()

　　上面程序创建了一个带有cookie的opener,在访问登录url的时候，将登录后的cookie保存下来，然后利用这个cookie来访问其他的网址。

　　下面放一个HttpClient.py，里面包含了post和get方法，以及getcookies：

import cookielib, urllib, urllib2, socket

class HttpClient:
__cookie = cookielib.CookieJar()
__req = urllib2.build_opener(urllib2.HTTPCookieProcessor(__cookie))
__req.addheaders = [
('Accept', 'application/javascript, */*;q=0.8'),
('User-Agent', 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)')
]
urllib2.install_opener(__req)

def Get(self, url, refer=None):
try:
req = urllib2.Request(url)
if not (refer is None):
req.add_header('Referer', refer)
return urllib2.urlopen(req, timeout=120).read()
except urllib2.HTTPError, e:
return e.read()
except socket.timeout, e:
return ''
except socket.error, e:
return ''

def Post(self, url, data, refer=None):
try:
req = urllib2.Request(url, urllib.urlencode(data))
if not (refer is None):
req.add_header('Referer', refer)
return urllib2.urlopen(req, timeout=120).read()
except urllib2.HTTPError, e:
return e.read()
except socket.timeout, e:
return ''
except socket.error, e:
return ''

def Download(self, url, file):
output = open(file, 'wb')
output.write(urllib2.urlopen(url).read())
output.close()

def getCookie(self, key):
for c in self.__cookie:
if c.name == key:
return c.value
return ''

def setCookie(self, key, val, domain):
ck = cookielib.Cookie(version=0, name=key, value=val, port=None, port_specified=False, domain=domain, domain_specified=False, domain_initial_dot=False, path='/', path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False)
self.__cookie.set_cookie(ck)