Python爬虫入门六之Cookie的使用

1.Cookie

为什么要使用Cookie呢？

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）

比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用urllib库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。

在此之前呢，我们必须先介绍一个opener的概念。

2.Opener

当你获取一个URL你使用一个

opener

(一个urllib.request.OpenerDirector()的实例)。在前面，我们都是使用的默认的

opener

，也就是

urlopen

。它是一个特殊的

opener

，可以理解成

opener

的一个特殊实例，传入的参数仅仅是

url

，

data

，

timeout

如果我们需要用到Cookie，只用这个opener是不能达到目的的，所以我们需要创建更一般的opener来实现对Cookie的设置。

3.Cookielib

Cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib模块配合使用来访问Internet资源

Cookielib模块非常强大，我们可以利用本模块的

CookieJar

类的对象来捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能

该模块主要的对象有

CookieJar

、

FileCookieJar

、

MozillaCookieJar

、

LWPCookieJar

。

它们的关系：

CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar

1）获取Cookie保存到变量

首先，我们先利用CookieJar对象实现获取cookie的功能，存储到变量中，先来感受一下

#!/usr/bin/env python3
#coing:utf-8

import urllib.request
import http.cookiejar

url = 'http://www.baidu.com'
# 声明一个CookieJar对象实例来保存cookie
cookie = http.cookiejar.CookieJar()
# 利用urllib库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib.request.HTTPCookieProcessor(cookie)
# 通过handler来构建opener
opener = urllib.request.build_opener(handler)
# 此处的open方法同urllib的urlopen方法，也可以传入request
reponse = opener.open(url)
for item in cookie:
print('name: %s \nvalue: %s' % (item.name, item.value))

我们使用以上方法将cookie保存到变量中，然后打印出了cookie中的值，运行结果如下

name: BAIDUID
value: F6FF8540E4E0C101A708FEC4836912DE:FG=1
name: BIDUPSID
value: F6FF8540E4E0C101A708FEC4836912DE
name: H_PS_PSSID
value: 1424_18194_22144_21080_22036_22075
name: PSTM
value: 1488551220
name: BDSVRTM
value: 0
name: BD_HOME
value: 0

2）保存Cookie到文件

在上面的方法中，我们将cookie保存到了cookie这个变量中，如果我们想将cookie保存到文件中该怎么做呢？这时，我们就要用到

FileCookieJar这个对象了，在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存

#!/usr/bin/env python3
#coing:utf-8

import urllib.request
import http.cookiejar

url = 'http://www.baidu.com'
filename = 'cookie.txt'
mozilla_cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(mozilla_cookie)
opener = urllib.request.build_opener(handler)
reponse = opener.open(url)
mozilla_cookie.save(ignore_discard=True, ignore_expires=True)

打开文件

# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html # This is a generated file!  Do not edit.

.baidu.com  TRUE    /   FALSE   3636034867  BAIDUID F6FF8540E4E0C10117CBCA85AD977E0C:FG=1
.baidu.com  TRUE    /   FALSE   3636034867  BIDUPSID    F6FF8540E4E0C10117CBCA85AD977E0C
.baidu.com  TRUE    /   FALSE       H_PS_PSSID  1460_21094_17001_22036_22157
.baidu.com  TRUE    /   FALSE   3636034867  PSTM    1488551220
www.baidu.com   FALSE   /   FALSE       BDSVRTM 0
www.baidu.com   FALSE   /   FALSE       BD_HOME 0

关于最后save方法的两个参数在此说明一下：

官方解释如下：

ignore_discard: save even cookies set to be discarded.

ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists

ignore_discard的意思是即使cookies将被丢弃也将它保存下来

ignore_expires的意思是如果在该文件中cookies已经存在，则覆盖原文件写入

在这里，我们将这两个全部设置为True。运行之后，cookies将被保存到cookie.txt文件中

3）从文件中获取Cookie并访问

那么我们已经做到把Cookie保存到文件中了，如果以后想使用，可以利用下面的方法来读取cookie并访问网站，感受一下

#!/usr/bin/env python3
#coding:utf-8

import urllib.request
import http.cookiejar

url = 'http://www.baidu.com'
filename = 'cookie.txt'
mozilla_cookie = http.cookiejar.MozillaCookieJar()
mozilla_cookie.load(filename, ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(mozilla_cookie)
opener = urllib.request.build_opener(handler)
request = urllib.request.Request(url)
response = opener.open(request)
print(response.read())

设想，如果我们的 cookie.txt 文件中保存的是某个人登录百度的cookie，那么我们提取出这个cookie文件内容，就可以用以上方法模拟这个人的账号登录百度。

4）利用cookie模拟网站登录

创建一个带有cookie的opener，在访问登录的URL时，将登录后的cookie保存下来，然后利用这个cookie来访问其他网址。

接下来就是把网站里面有效内容提取出来，下一节我们去会会正则表达式！

转载于：静觅 » Python爬虫入门六之Cookie的使用