python 超时异常处理

异常处理具体见：【循序渐进学Python】9.异常处理

环境平台：Python2.7.9 + Win8.1

本篇记录一下自己写爬虫的遇到的问题，程序中批量获取图片地址，然后批量保存。由于没有设置网址打开超时，导致程序一直卡在哪里，程序处于假死状态。

经查询得知没有对程序进行超时处理，由于使用的是urllib模块的urlopen，无法直接添加timeout参数（注：python2.6之前的urllib2模块也无法添加timeout参数）

import socket
import urllib2

socket.setdefaulttimeout(seconds)
open = urllib.urlopen("http://*****.com")

#通过socket.setdefaulttimeout() 设置了全局默认超时时间，从而给urllibe.urlopen()也设置了默认的超时时间

Python urllib2设置超时并处理超时异常

最简单的情况是捕获urllib2.URLError

try:
urllib2.urlopen("http://example.com", timeout = 1)
except urllib2.URLError, e:
raise MyException("There was an error: %r" % e)

以下代码对超时异常进行了捕获

import urllib2
import socket

class MyException(Exception):
pass

try:
urllib2.urlopen("http://example.com", timeout = 1)
except urllib2.URLError, e:
if isinstance(e.reason, socket.timeout):
raise MyException("There was an error: %r" % e)
else:
# reraise the original error
raise

下面是自己爬虫程序内的一部分，仅仅做了简单的捕获处理。

def saveImg(self, imageURL, fileName):
try:
u = urllib2.urlopen(imageURL, timeout=10)
data = u.read()
f = open(fileName, 'wb')
f.write(data)
print u"正在保存美女图片", fileName
f.close()
except Exception, e:
print e