三种方法实现网页下载-（慕课网学习笔记）

网页下载器

网页下载器是将URL对应的网页下载到本地的工具

Python网页下载器：

urllib2 : Python官方基础模块

requests : 第三方插件，功能更强大

三种下载网页的方法

最简洁最传统：

urllib2.urlopen(url)

需向服务器提供data，http header等信息:

request = urllib2.Request(url)

request.add_header("user-agent","Mozilla/5.0")

添加特殊情景的处理器

eg.

HTTPCookieProcessor 用户登录才能访问

ProxyHandler 需要代理才能访问

HTTPSHandler 协议用HTTPS加密访问的网站

HTTPRedirectHandle 相互自动跳转

以cookie为例：

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

urllib2.install_opener(opener)

*****************源码

import urllib2,cookielib

url = "http://www.baidu.com"
print "第一种方法"
# 直接请求
response1 = urllib2.urlopen(url)
# 获取状态码，如果是200表示获取成功
print response1.getcode()
# 读取内容
print len(response1.read())

print "第二种方法"
# 创建request对象
request = urllib2.Request(url)
# 模拟浏览器访问
request.add_header("user-agent","Mozilla/5.0")

response2 = urllib2.urlopen(url)
print response2.getcode()
print len(response2.read())

print "第三种方法"
# 创建cookie容器
cookie = cookielib.CookieJar()
# 创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
# 给urllib2安装opener
urllib2.install_opener(opener)

response3 = urllib2.urlopen(url)
print response3.getcode()
print response3.read()