python开发爬虫----urllib2下载网页方法
2016-08-12 19:58
471 查看
urllib2下载网页方法1:
import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码,如果返回200则获取成功
print response.getcode()
#读取内容
cont = response.read()
urllib2下载网页方法2:添加data http header
import urllib2
#创建request对象
request = urllib2.Request(url)
#添加数据
request.add_data('a','1')
#添加http的header
request.add_header('User-Agent','Mozilla/5.0')
#发送请求取得结果
response = urllib2.urlopen(request)
urllib2下载网页方法3:添加特殊情景的处理器
import urllib2,cookielib
#创建cookie容器
cj = cookielib.CookieJar()
#创建opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcesser(cj))
#给urllib2安装opener
urllib2.install_opener(opener)
#使用带cookie的urllib2访问网页
response = urllib2.urlopen('http://www.baidu.com')
import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码,如果返回200则获取成功
print response.getcode()
#读取内容
cont = response.read()
urllib2下载网页方法2:添加data http header
import urllib2
#创建request对象
request = urllib2.Request(url)
#添加数据
request.add_data('a','1')
#添加http的header
request.add_header('User-Agent','Mozilla/5.0')
#发送请求取得结果
response = urllib2.urlopen(request)
urllib2下载网页方法3:添加特殊情景的处理器
import urllib2,cookielib
#创建cookie容器
cj = cookielib.CookieJar()
#创建opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcesser(cj))
#给urllib2安装opener
urllib2.install_opener(opener)
#使用带cookie的urllib2访问网页
response = urllib2.urlopen('http://www.baidu.com')
相关文章推荐
- urllib2下载网页的三种方法_Python爬虫
- Python开发中爬虫使用代理proxy抓取网页的方法示例
- Python下载网页的几种方法
- Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup)
- python_urllib2下载网页的三种方式
- python爬虫(1)下载任意网页图片
- 【用Python写爬虫】获取html的方法【四】:使用urllib下载文件
- Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) (转)
- python3.4.4实现网页爬虫基础之网页下载器三种方法
- python脚本工具-1 制作爬虫下载网页图片
- Python 下载网页的几种方法
- 零基础写python爬虫之使用urllib2组件抓取网页内容
- Python获取网页上图片下载地址的方法
- Python入门简单的静态网页爬虫2.0 (实现各模块的具体方法)
- Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup)
- 零基础写python爬虫之使用urllib2组件抓取网页内容
- Python3访问并下载网页内容的方法
- Python3访问并下载网页内容的方法
- Python爬虫urllib2笔记(三)之使用正则表达式提取百度贴吧网页中的楼主发的图片
- Python 爬虫5——爬取并下载网页指定规格的图片