Python 2.7 获取网络信息（Urllib）

>>> import urllib
>>> google = urllib.urlopen('http://www.google.com')
>>> print 'http header:\n',google.info()
...............(一堆HTTP头信息)
>>> print 'http status:',google.getcode()

http status: 200
>>> print 'url:',google.geturl()

url:
http://www.google.com.hk/

>>>help(urllib.urlopen)
Help on function urlopen in module urllib:
urlopen(url, data=None, proxies=None)
Create a file-like object for the specified URL to read from.

参数 url 表示远程数据的路径，一般是 http 或者 ftp 路径。

参数 data 表示以 get 或者 post
方式提交到 url 的数据。

参数 proxies 表示用于代理的设置。

urlopen 返回一个类文件对象，它提供了如下方法：

read() , readline() , readlines()，fileno()和close()： 这些方法的使用与文件对象完全一样。

info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息。

getcode()：返回Http状态码，如果是http请求，200表示请求成功完成;404表示网址未找到。

geturl()：返回请求的url地址。

下例 : 整个html抓取下来：
# 别惊讶，整个程序确实只用了两行代码

>>>import urllib

>>>print urllib.urlopen('http://www.google.com').read()

再熟悉一下：
google = urllib.urlopen('http://www.google.com')

print 'http header:/n', google.info()

print 'http status:', google.getcode()

print 'url:', google.geturl()

for line in google: # 就像在操作本地文件

print line,

google.close()

urlopen()
urllib 是 python 自带的一个抓取网页信息一个接口，他最主要的方法是 urlopen()，是基于
python 的 open() 方法的。下面是主要说明：

这里传入urlopen()的参数有特别说要求 : 要遵循一些网络协议，比如http,ftp,也就是说，在网址的开头必须要有
http://
这样的说明，如：urllib.urlopen('http://www.baidu.com')。

要么就是本地文件，本地文件需要使用file关键字，比如 urllib.urlopen('file:nowamagic.py')，注意，这里的hello.py是指的是当前的classpath所指定的内容，如果对hello.py这里有什么疑问那一定是python寻找classpath的顺序不是很清楚了，当然也可以直接写全部路径，urllib.urlopen('file:F:\pythontest\nowamagic.py')。

例如：
import urllib
f = urllib.urlopen('file:F:\pythontest\nowamagic.py')
a = f.read()
print a

urllib 的 代理设置：
import urllib
proxies = {'http':'http://***.***.***.***:1984'}
filehandle = urllib.urlopen('http://www.需要代理才能访问的网站.com/',proxies = proxies)
a = filehandle.read()
print a
以上是最基本代理，即代理访问到该网站，并且能够获得该网站的内容。但是如果遇到需要登录，或者需要cookie等的网站呢？

urlretrieve()

下面我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。
>>> help(urllib.urlretrieve)
Help on function urlretrieve in module urllib:
urlretrieve(url, filename=None, reporthook=None, data=None)

参数 finename 指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。）

参数 reporthook 是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调， 我们可以利用这个回调函数来显示当前的下载进度。

参数 data 指 post 到服务器的数据，该方法返回一个包含两个元素的(filename, headers)元组，filename 表示保存到本地的路径，header 表示服务器的响应头。

下面通过例子来演示一下这个方法的使用，这个例子将 google 的 html 抓取到本地，保存在 D:/google.html 文件中，同时显示下载的进度。
import urllib
def cbk(a, b, c):

'''回调函数

@a: 已经下载的数据块

@b: 数据块的大小

@c: 远程文件的大小

'''

per = 100.0 * a * b / c

if per > 100:

per = 100

print '%.2f%%' % per

url = 'http://www.google.com'
local = 'd://google.html'
urllib.urlretrieve(url, local, cbk)

URL编码解码
url 中是不能出现一些特殊的符号的，有些符号有特殊的用途。比如以 get 方式提交数据的时候，会在 url 中添加 key=value 这样的字符串，所以在 value 中是不允许有 '='，因此要对其进行编码 ，比如 ：
1.+ URL 中+号表示空格 %2B

2.空格 URL中的空格可以用+号或者编码 %20

3./ 分隔目录和子目录 %2F

4.? 分隔实际的 URL 和参数 %3F

5.% 指定特殊字符 %25

6.# 表示书签 %23

7.& URL 中指定的参数间的分隔符 %26

8.= URL 中指定参数的值 %3D

与此同时服务器接收到这些参数的时候，要进行解码，还原成原始的数据。这个时候，这些辅助方法会很有用：

urllib.quote(string[, safe])：对字符串进行编码。参数 safe 指定了不需要编码的字符;

urllib.unquote(string) ：对字符串进行解码；

urllib.quote_plus(string [ , safe ] ) ：与 urllib.quote 类似，但这个方法用'+'来替换' '（空格），而 quote 用'%20'来代替' '

urllib.unquote_plus(string ) ：解码；

urllib.urlencode(query[, doseq])：将dict或者包含两个元素的元组列表转换成url参数。 例如 字典{'name': 'dark-bull', 'age': 200}将被转换为"name=dark-bull&age=200"

urllib.pathname2url(path)：将本地路径转换成 url 路径；

urllib.url2pathname(path)：将url路径转换成本地路径；

Python 2.7.5

>>> import urllib>>> data = 'name = ~nowamagic+5'>>> data1 = urllib.quote(data)>>> print data1name%20%3D%20%7Enowamagic%2B5>>> print urllib.unquote(data1)name =
~nowamagic+5>>> data2 = urllib.quote_plus(data)>>> print data2name+%3D+%7Enowamagic%2B5>>> print urllib.unquote_plus(data2)name = ~nowamagic+5>>> data3 = urllib.urlencode({ 'name': 'nowamagic-gonn', 'age': 200 })>>> print data3age=200&name=nowamagic-gonn>>>
data4 = urllib.pathname2url(r'd:/a/b/c/23.php')>>> print data4///D://a/b/c/23.php>>> print urllib.url2pathname(data4)D:\a\b\c\23.php

urllib 2

python 发展过程中，guido 越来越看不惯 urllib 的混乱结构了，但是很多人已经习惯 import urllib 了，并且用的还可以，所以 urllib 不管代码里多么混乱，但他能运行。很好，于是 guido
只能在urllib 外在开发了 urllib2，来满足一个有“洁癖”的程序员的心理需求。
import urllib2content = urllib2.urlopen('http://www.google.com/')c = content.read()print c

urlib2 是使用各种协议完成打开 url 的一个扩展包。最简单的使用方式是调用 urlopen() 方法，比如：

import urllib2content_stream = urllib2.urlopen('http://www.google.com/')content = content_stream.read()print content

即可以接受一个字符串型的 url 地址或者一个 Request 对象。将打开这个 url 并返回结果为一个像文件对象一样的对象。\

接下来是 OpenerDirector 操作类。这是一个管理很多处理类（Handler）的类。而所有这些 Handler 类都对应处理相应的协议，或者特殊功能。分别有下面的处理类：

BaseHandler

HTTPErrorProcessor

HTTPDefaultErrorHandler

HTTPRedirectHandler

ProxyHandler

AbstractBasicAuthHandler

HTTPBasicAuthHandler

ProxyBasicAuthHandler

AbstractDigestAuthHandler

ProxyDigestAuthHandler

AbstractHTTPHandler

HTTPHandler

HTTPCookieProcessor

UnknownHandler

FileHandler

FTPHandler

CacheFTPHandler

是不是很多？是不是和我说的结构简单不一致？不是的，他们都是遵循相应的规则，需求创建的类，甚至是相似的。你何必一口想吃成个胖子，全部都要会，先只管最最基本的需求吧，http 协议的处理类。
刚才我们说的最简单的 urlib2 的使用，也就是源码中给出的使用方式: