urllib2的Openers和handlers
2015-06-11 16:59
274 查看
urllib2的两个重要的东西: Openers和Handlers
Openers:
默认的opener是urlopen
Opener对象都有一个open方法
Handlers:
Openers使用处理器handlers,由它处理一些东西
handler = urllib2.HTTPCookieProcessor(cookie)
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler= urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(handler,httpHandler,httpsHandler)
urllib2.install_opener(opener)
response = opener.open(request)
返回的对象 response,有两个方法info()和geturl()有两个方法
geturl():返回真实的URL,因为有的时候会302重定向,原来的请求和真实的请求不一致
response.geturl()
info():返回的对象的字典响应头
Openers:
默认的opener是urlopen
Opener对象都有一个open方法
Handlers:
Openers使用处理器handlers,由它处理一些东西
handler = urllib2.HTTPCookieProcessor(cookie)
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler= urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(handler,httpHandler,httpsHandler)
urllib2.install_opener(opener)
response = opener.open(request)
返回的对象 response,有两个方法info()和geturl()有两个方法
geturl():返回真实的URL,因为有的时候会302重定向,原来的请求和真实的请求不一致
response.geturl()
info():返回的对象的字典响应头
相关文章推荐
- Python3写爬虫(四)多线程实现数据爬取
- Scrapy的架构介绍
- NodeJS制作爬虫全过程(续)
- 零基础写Java知乎爬虫之抓取知乎答案
- 零基础写Java知乎爬虫之先拿百度首页练练手
- 零基础写Java知乎爬虫之获取知乎编辑推荐内容
- Python编写百度贴吧的简单爬虫
- 零基础写python爬虫之使用urllib2组件抓取网页内容
- 零基础写python爬虫之抓取百度贴吧代码分享
- 零基础写python爬虫之urllib2使用指南
- python利用beautifulSoup实现爬虫
- 零基础写python爬虫之使用Scrapy框架编写爬虫
- 零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
- 在Python3中使用asyncio库进行快速数据抓取的教程
- 零基础写python爬虫之抓取糗事百科代码分享
- 零基础写Java知乎爬虫之进阶篇
- 简单的Python抓taobao图片爬虫
- Python实现抓取页面上链接的简单爬虫分享
- 零基础写python爬虫之抓取百度贴吧并存储到本地txt文件改进版
- Go语言实现的web爬虫实例