您的位置:首页 > 编程语言 > Python开发

Python爬虫--timeout设置--防止访问时间过长造成假死

2016-07-23 11:22 936 查看
爬虫有时候会因为爬去某些网页速度极慢,影响性能。所有可以设置超时时间。

timeout单位秒

设置超时时间为0,使用try语句。

#coding:utf-8
**urllib2**
超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
例如:
#coding:utf-8
import urllib2
try:
url = "http://www.baidu.com"
f = urllib2.urlopen(url, timeout=0) #timeout设置超时的时间
result = f.read()
print result
except Exception,e:
print 'a',str(e)


输出异常:

a <urlopen error timed out>


timeout设置为一之后就能正常返回获取的html代码了。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: