Python爬虫--timeout设置--防止访问时间过长造成假死
2016-07-23 11:22
936 查看
爬虫有时候会因为爬去某些网页速度极慢,影响性能。所有可以设置超时时间。
timeout单位秒
设置超时时间为0,使用try语句。
输出异常:
timeout设置为一之后就能正常返回获取的html代码了。
timeout单位秒
设置超时时间为0,使用try语句。
#coding:utf-8 **urllib2** 超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。 例如: #coding:utf-8 import urllib2 try: url = "http://www.baidu.com" f = urllib2.urlopen(url, timeout=0) #timeout设置超时的时间 result = f.read() print result except Exception,e: print 'a',str(e)
输出异常:
a <urlopen error timed out>
timeout设置为一之后就能正常返回获取的html代码了。
相关文章推荐
- 在eclipse中安装python的插件
- Python_进程、线程及协程
- Hello Python
- Stage1--Python的特点和安装
- Stage1--Python的特点和安装
- pysvn安装
- Python学习进程(11)日期和时间
- 分布式爬虫:使用Scrapy抓取数据
- UnicodeEncodeError:的解决方法
- Python 获得命令行参数的方法
- Python机器学习与实战笔记之逻辑斯蒂回归Logistic Regression, LR
- python学习之路-11 多线程、多进程、协程
- 以写代学:python 数据类型之数字,标准类型函数
- 【Python】进阶
- Python 3.5安装教程
- Python遍历文件夹下所有文件中数据并写入Excel
- Python新手学习基础之运算符——比较运算符
- Python-开发之路-进程基础
- Python-开发之路-协程举例
- wxpython 简单文本编辑