Httpcilent获取带验证码的网站内容

大家可能都遇到过网站带验证码的，用httpclient去获取会给我们造成许多困扰和麻烦，网站的写法多变，有直接赋值的、有用ajax赋值的各种各样，下面就为大家解释一下怎么获取带验证码的网站。

首先、你要知道他的验证码是怎么生成的，用工具火狐浏览器，或者Http Analyzer 直接抓取他获取验证码的连接。

然后写一个方法，读取他的验证码流吐到你的页面上。

其次、你要保证你i获取验证码和提交时一个请求。

那么怎么才能保证验证码和你的提交请求时一个请求呢，有俩种方法。

一、如果你的服务器不是分布式的，直接上来就new 一个HttpClient 放到session中。然后获取验证码和提交求情都从sesssion中获取httpclient。

二、如果你的服务器是分布式的，那么直接从cookie入手，由于大多服务器都是分布式的，这里只对分布式进行讲解。

首先获取cookie。

/**
* Description:获得cookie值
* Date:Dec 10, 2013
* @author Christopher
* @return
* @return String
*/
private String getCookie(){
HttpClient httpClient = new HttpClient();
httpClient.getParams().setCookiePolicy(CookiePolicy.BROWSER_COMPATIBILITY);//让HttpClient使用浏览器的策略
GetMethod getMethod = new GetMethod("http://www.mdjzfgjj.cn/mdjweb/website/trans/ValidateImg");
String tmpCookies= "";
try {
int status = httpClient.executeMethod(getMethod);
if (status == HttpStatus.SC_OK) {

Cookie[] cookies=httpClient.getState().getCookies();//获取cookie
for(Cookie cookie:cookies){
tmpCookies += cookie.toString()+";";
}
}
} catch (HttpException e) {
log.error(" 执行 HTTP GET 请求时，发生异常！", e);
e.printStackTrace(System.err);
} catch (IOException e) {
log.error("返回的HTTP响应信息流转换发生问题", e);
} finally {
getMethod.releaseConnection();
}
return tmpCookies;
}

获得cookie以后，你可以放到session中，或者放到request里面带到页面，在带回来。

其次就是获得cookie了，本代码是放到session中的。

下面是获取验证码：

/**
* 读取验证码图片
*/
public  String ImageGet(){
Long time=new Date().getTime();
String passTime=time.toString();
InputStream sos=null;
HttpClient httpClient = new HttpClient(new HttpClientParams(),new SimpleHttpConnectionManager(true));
GetMethod getMethod = new GetMethod("http://www.mdjzfgjj.cn/mdjweb/website/trans/ValidateImg?d="+passTime);
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler());
String cookie=session.get("cookie");
if(! "".equals(cookie)){
getMethod.setRequestHeader("cookie",cookie);
}else{
System.out.println("cookie  is   not  found!!!!");
}
try {
int statusCode = httpClient.executeMethod(getMethod);
System.out.println("statusCode = "+statusCode);
if (statusCode == HttpStatus.SC_OK) {
response.setContentType("multipart/form-data");
sos = getMethod.getResponseBodyAsStream();
byte[] imageByteArray = IOUtil.getByteArray(sos);    //转换完byteArray以后直接关闭了sos
ServletOutputStream servletOutputStream = null;
response.setContentType("multipart/form-data");
try {
servletOutputStream = response.getOutputStream();
servletOutputStream.write(imageByteArray);
} catch (Exception e) {
log.error("AccumulationFundSearch_MDJ:ImageGet",e);
e.printStackTrace();
}finally{
servletOutputStream.flush();
servletOutputStream.close();
}
}
} catch (Exception e) {
if(!"Software caused connection abort: socket write error".equals(e.getCause().getMessage())&&!"Connection reset by peer: socket write error".equals(e.getCause().getMessage())){
log.error("AccumulationFundSearch_MDJ:ImageGet",e);
e.printStackTrace();
}
}finally{
getMethod.releaseConnection();
}
return null;
}

页面直接调用。为了方便给大家上jsp代码。

<tr>
<td  align="right">验证码：</td>
<td>
<input type="text" name="verify" id="verify" style="height:22px;width:80px" class="apps_w140 apps_hdlt" maxlength="4"/>
<a href="#" onclick="imageChange('1')">
<img src="AccumulationFundSearch_MDJ!ImageGet.action" id="image" name="image" onclick="imageChange('1');"/>
</a>
</td>
</tr>

js方法如下：

function imageChange(flag){
var timenow = new Date().getTime();
document.getElementById("image").src="AccumulationFundSearch_MDJ!ImageGet.action?d="+timenow;
}

然后就是提交请求了，请求方法如下：

private Map<String, String>  getSetCookie(String time,String accnum,String certinum,String password,String mark,String verify,String cookie){
Map<String, String> map=new HashMap<String, String>();
HttpClient httpClient = new HttpClient();
httpClient.getHostConfiguration().getParams().setParameter("http.default-headers",setHeader(cookie));
PostMethod method = new PostMethod("http://www.mdjzfgjj.cn/mdjweb/website/trans/gjjquery.do?className=TRC310504");
method.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "UTF-8");
method.setParameter("time", time);
method.setParameter("accnum", accnum);
method.setParameter("certinum", certinum);
method.setParameter("password", password);
method.setParameter("mark", mark);
method.setParameter("txt", "1");
method.setParameter("verify", verify);
try{
int state=httpClient.executeMethod(method);                        //网页返回状态
if(state==HttpStatus.SC_OK){
Cookie[] cookies=httpClient.getState().getCookies();
if(cookies.length>0){
for(int i=0;i<cookies.length;i++){
if(cookies[i].toString().contains("gjjaccnum")){
map.put("gjjaccnum", cookies[i].toString());
}
if(cookies[i].toString().contains("gjjaccname")){
map.put("gjjaccname", cookies[i].toString());
}
}
}
}
}catch(Exception e){
log.error("AccumulationFundSearch_MDJ:getSetCookie",e);
e.printStackTrace();
}finally{
method.releaseConnection();
}
return map;
}

这样我就获得了我需要查询的数据。。如果大家没有看明白的话，求留言，如看到留言会为你一一解答，谢谢观看！