python获取远程页面内容，避免卡死问题

在python 2.7中，获取远程页面的数据可以使用urllib模块，也可以使用urlib2模块。我是使用urllib2模块来操作的。

我在本地建立一个测试文件test.php，文件内容就是输出一段字符串：

1	echo   'I think; therefor, I exist.' ;

我也搭建了web服务器，可以通过http://localhost/test.php来访问这个文件。

而后用python中的urllib2中的方法来获取这个这个地址的内容：

1	import   urllib2

2

3	url  =   "http://localhost/test.php"

4	f  =   urllib2.urlopen(url)

5	print   f.readlines()

上例如果成功运行，应该看到这样的输出：

['I think; therefor, I exist.']

但是这样的代码并不完善，如果请求的页面很久没有返回数据，python就会处于等待过程，直到页面数据返回。在test.php加上休眠代码，模拟页面很久才能返回数据：

1

sleep(10)

修改python程序，加入时间输出：

1	import   urllib2

2	import   time

3

4	print   time.time()  #start time

5	url  =   "http://localhost/test.php"

6	f  =   urllib2.urlopen(url)

7	print   f.readlines()

8	print   time.time()  #end time

重新运行python程序，等待大约10秒钟，才能看到数据返回，正常的话，输出如下：

1351344569.49
['I think; therefor, I exist.']1351344579.5

开始时间和结束想差了10秒，就是上面加的sleep(10)了。如果页面数据一直不返回，那么不是要一直等下去？可以在urllib2.urlpen()时加上timeout参数，设置超时时间，在python 2.6以上的版本才支持。修改python代码：

1	import   urllib2

2	import   time

3

4	print   time.time()

5

try :

6	url  =   "http://localhost/test.php"

7	f  =   urllib2.urlopen(url, timeout = 5 )

8	print   f.readlines()

9	except   Exception, e:

10

print   e

11	print   time.time()

上面加入了超时设置，因为如果超时退出的话，还会抛出一个异常，所以加上try/except处理。正常执行后应当输出：

1351345395.35
timed out
1351345400.37

这边就只等待了5秒，然后就因为请求远程数据超时退出了，不会一直卡住。

友情提示：

如果是在python 2.6版本之前，可以通过socket.setdefaulttimeout()方法来设置超时时间。