Python:urllib2使用总结

17年7月第1篇博客。

最近在做微信公众号开发，涉及到服务器与腾讯服务器进行图片等素材向下拉去的过程。其中用到了urllib函数库的使用。下面详细的对该函数库进行一系列的介绍，和一些简单的使用规则。

一.urllib2简介

urllib2提供一个基础函数url open，通过向指定的URL发出请求来获取数据。最简单的形式就是：

import urllib2
response=urllib2.urlopen('http://www.unisone.net')
html=response.read()

这个过程就是基于简单的请求-响应的模型：

response=urllib2.urlopen('http://www.douban.com')

实际上可以看作两个步骤：

1、我们向指定域名发送请求：

request=urllib2.request('http://www.douban.com')

接着服务器响应客户端发送的请求：

response=urllib2.urlopen(request)

二、有的时候我们在刷新网页的时候，还会涉及到向网页提交数据的行为，这时urllib2的使用是这样的：

import urllib
import urllib2
url = 'http://www.unisone.com'
info = {'name' : 'Michael Foord',
'location' : 'Northampton'}
data = urllib.urlencode(info)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

三、但是咱们有的时候也会遇到，自己的程序请求也对，但是服务器还是会拒绝访问。在这个问题当中就涉及到请求当中的头信息的问题（header）。有的服务器设计了头文件来防止程序去访问它。这时候就需要咱们伪装成浏览器来发送请求。而这个请求的方式包含在header中。以下就是访问的代码：

import urllib
import urllib2
url
4000
= 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'# 将user_agent写入头信息
values = {'name' : 'Michael Foord',
'location' : 'Northampton',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()