Python爬虫中urllib库的使用进阶--配置代理

#什么是代理？

代理（英语：Proxy），也称网络代理，是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。一些网关、路由器等网络设备具备网络代理功能。一般认为代理服务有利于保障网络终端的隐私或安全，防止攻击。（百度百科）

简单来说，代理就是不直接访问目标而是连接另一台终端通过其访问目标，实现IP的变化，对于一些对IP有限制的网站爬取非常有用

#为什么用代理
很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。
所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取

#使用代理流程
代理的使用大概可以分为四步
1.构建处理器handler（代理IP）
2.使用处理器构建连接方法（build_opener）
3.构建请求
4.使用连接方法中的open函数打开请求
其中最重要的是第一步构建处理器的ProxyHandler函数

##ProxyHandler函数
urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

from urllib import request

# 这个是没有使用代理的
#返回结果为本机的网络IP
# resp = request.urlopen('http://httpbin.org/ip')
# print(resp.read().decode("utf-8"))

# 这个是使用了代理的
#代理成功后返回结果为设置的IP
handler = request.ProxyHandler({"http":"111.177.190.14:9999"})

opener = request.build_opener(handler)
req = request.Request("http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())

常见免费代理网站：

• 西刺免费代理IP：http://www.xicidaili.com/
• 快代理：http://www.kuaidaili.com/
• 代理云：http://www.dailiyun.com/
  当然，便宜没好货，免费的容易出现连接不上、连接不稳定，因此如果要做大型爬虫还是建议购买代理，价格也并不贵！