关于抓取网页数据超时问题

用基于httpclient的爬虫框架例如jsoup 会出现超时的问题 ，虽然超时可以用timeout设置 但是超时的时间长了也会被请求的服务器干掉。而后续没有操作 就会出现数据没查完，非常的蛋疼!!我的解决办法是用捕捉异常的方法 ，捕捉超时异常，然后再调用它本身的方法 代码如下：

public Document getDocument (String url,Map map){

try {

Connection conn = Jsoup.connect(url);

conn.timeout(5000);

conn.data(map);

return conn.get();

} catch (SocketTimeoutException e) {

return getDocument(url, map); //递归调用 直到请求成功

} catch (IOException e) {

e.printStackTrace();

}

return null;

}