python3使用urllib模块制作网络爬虫
2016-04-08 00:00
1801 查看
urllib
urllib模块是python3的URL处理包
其中:
1、urllib.request主要是打开和阅读urls
个人平时主要用的1:
打开对应的URL:urllib.request.open(url)
用urllib.request.build_opener([handler, ...]),来伪装成对应的浏览器
2、urllib.parse主要是用来解析url
主要方法:
urllib.parse.urlparse(urlstring)
功能:将对应的URL解析成六部分,并以元组的数据格式返回来。(在功能上和urlsplit()几乎一模一样)
对应的结果:
ParseResult(scheme='http', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html', params='', query='', fragment='')
/%7Eguido/Python.html
http
80
http://www.cwi.nl:80/%7Eguido/Python.html
2、构建一个新的url――urllib.parse.urljoin(base, url)
参数:base:基本的URL链接
url:另一个url
结果:http://www.cwi.nl/%7Eguido/FAQ.html
这个函数在爬虫的时候应该方便多了,我之前用的是比较笨的方法直接字符串拼接
3、异常处理 urllib.error
用 try-except来捕捉异常
主要的错误方式就两种 URLError和HTTPError
因为HTTPError是URLError的子类,所以URLError应该写在HttpError后面,说白了就是找到儿子一定知道父亲,找到父亲,不一定知道儿子。
结果:[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。
如果捕获到了HTTPError,则输出code,不会再处理URLError异常。如果发生的不是HTTPError,则会去捕获URLError异常,输出错误原因
python中使用urllib2伪造HTTP报头的2个方法
零基础写python爬虫之使用urllib2组件抓取网页内容
python中urllib模块用法实例详解
python使用urllib2实现发送带cookie的请求
python使用urllib2提交http post请求的方法
urllib模块是python3的URL处理包
其中:
1、urllib.request主要是打开和阅读urls
个人平时主要用的1:
打开对应的URL:urllib.request.open(url)
用urllib.request.build_opener([handler, ...]),来伪装成对应的浏览器
import urllib #要伪装成的浏览器(我这个是用的chrome) headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36') url='http://hotels.ctrip.com/' opener = urllib.request.build_opener() #将要伪装成的浏览器添加到对应的http头部 opener.addheaders=[headers] #读取相应的url data = opener.open(url).read() #将获得的html解码为utf-8 data=data.decode('utf-8') print(data)
2、urllib.parse主要是用来解析url
主要方法:
urllib.parse.urlparse(urlstring)
功能:将对应的URL解析成六部分,并以元组的数据格式返回来。(在功能上和urlsplit()几乎一模一样)
import urllib o = urllib.parse.urlparse('http://www.cwi.nl:80/%7Eguido/Python.html') print(o) print(o.path) print(o.scheme) print(o.port) print(o.geturl())
对应的结果:
ParseResult(scheme='http', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html', params='', query='', fragment='')
/%7Eguido/Python.html
http
80
http://www.cwi.nl:80/%7Eguido/Python.html
2、构建一个新的url――urllib.parse.urljoin(base, url)
参数:base:基本的URL链接
url:另一个url
from urllib.parse import urljoin a=urljoin('http://www.cwi.nl/%7Eguido/Python.html', 'FAQ.html') print(a)
结果:http://www.cwi.nl/%7Eguido/FAQ.html
这个函数在爬虫的时候应该方便多了,我之前用的是比较笨的方法直接字符串拼接
3、异常处理 urllib.error
用 try-except来捕捉异常
主要的错误方式就两种 URLError和HTTPError
因为HTTPError是URLError的子类,所以URLError应该写在HttpError后面,说白了就是找到儿子一定知道父亲,找到父亲,不一定知道儿子。
try: data=urllib.request.urlopen(url) print(data.read().decode('utf-8')) except urllib.error.HTTPError as e: print(e.code) except urllib.error.URLError as e: print(e.reason)
结果:[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。
如果捕获到了HTTPError,则输出code,不会再处理URLError异常。如果发生的不是HTTPError,则会去捕获URLError异常,输出错误原因
您可能感兴趣的文章:
Python urllib模块urlopen()与urlretrieve()详解python中使用urllib2伪造HTTP报头的2个方法
零基础写python爬虫之使用urllib2组件抓取网页内容
python中urllib模块用法实例详解
python使用urllib2实现发送带cookie的请求
python使用urllib2提交http post请求的方法
相关文章推荐
- Python3 入门教程 简单但比较不错
- python3图片转换二进制存入mysql
- linux下python3连接mysql数据库问题
- Python3 能振兴 Python的原因分析
- 在windows系统中实现python3安装lxml
- Python3基础之基本运算符概述
- Python使用urllib模块的urlopen超时问题解决方法
- python基于urllib实现按照百度音乐分类下载mp3的方法
- Python3基础之条件与循环控制实例解析
- Python3实现生成随机密码的方法
- Python3基础之输入和输出实例分析
- Windows下实现Python2和Python3两个版共存的方法
- Python urllib、urllib2、httplib抓取网页代码实例
- Python3使用requests包抓取并保存网页源码的方法
- Python库urllib与urllib2主要区别分析
- Python中的urllib模块使用详解
- Python3 正在毁灭 Python的原因分析
- Python3基础之基本数据类型概述
- Python3基础之函数用法
- 让python同时兼容python2和python3的8个技巧分享