采集需要登录后的网页(重定向后cookie丢失问题)

在采集需要登陆后访问的页面中,采集程序需要保存登录后获取的cookie,由于有些网站登录验证成功后就将用户直接重定向到目标页,

如: Response.Redirect("/user/index.asp")

响应头部含如下参数

Location: /user/index.aspx

Set-Cookie: .ASPXAUTH=3DABFC1691FD31F16EFF68D55202130196135D8B3F0A8B630C956242FBBA802EDB912E0B84D6601A6F425824DA1C28AFBDF04E6B4D0CA6E7D7EBB7DD2A212F5FFFF2921DF35CE098F603CE31E56D71AD68CC23117123E11AB8323AD86B648665; expires=Thu, 04-Dec-2008 02:59:15 GMT; path=/; HttpOnly

这样在使用WebClient时,不能捕捉到需要的cookie,这个时候就需要使用HttpWebRequest(WebRequest针对http协议的实现)

获取cookieContainer

---------------------------------------

private System.Net.CookieContainer GetCookieContainer(string logUrl,byte[] data)

{

HttpWebRequest request = HttpWebRequest.Create(logUrl) as HttpWebRequest;

request.AllowAutoRedirect = false;//禁止自动重定向

request.Method = "Post"; //使用post方法

request.ContentType = "application/x-www-form-urlencoded";//form提交时使用urlencode

request.ContentLength = data.Length;

request.CookieContainer = new CookieContainer();

Stream uploadStream=request.GetRequestStream();

uploadStream.Write(data, 0, data.Length);

uploadStream.Close();

HttpWebResponse resposne = request.GetResponse() as HttpWebResponse;

resposne.Close();

return request.CookieContainer;//反会获取的cookieContainer

}

//登录后获取cookie再进行数据采集,需要导如System.IO,System.Net,System.Web等命名空间

-------------------------------------------------

string formData=@"Username=xxxx&Password=dafa34@234";//登录页面表单字段

//使用gb2312进行Url编码

formData= HttpUtility.UrlEncode(formData,Encoding.GetEncoding("gb2312"));

//编码为字节数据

byte[] data = Encoding.GetEncoding("gb2312").GetBytes(formData);

//是需要登陆后获取的页面（数据采集页)

Uri dataUri = new Uri("http://wow52.cn/admin/article.aspx");

HttpWebRequest request = WebRequest.Create(dataUri) as HttpWebRequest;

//设置来路,有些站点会检测访问来路来判断是否为盗链等.

//使用WebRequest时你无法直接使用 request.Hands.Add("Referer","http://www.wow52.cn/log.aspx")

//来添加标头

request.Referer="http://www.wow52.cn/log.aspx";

//一些其他设置

//request.Accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-silverlight, application/x-ms-application, application/x-ms-xbap, application/vnd.ms-xpsdocument, application/xaml+xml, */*";

//request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)";

request.Method = "GET";

//登录页地址，需要特别注意的是这个uri的域名必须要与上面一致

//使用www.wow52.cn获取的cookieContainer只有在域名为www.wow52.cn时才会被附加上

//对一些使用了二级域名的站点，各数据页二级域名各不相同的，可以将Cookie逐个取出

//再拼接起来，如: cookieName1=cookieValue1;cookieName2=cookieValue2;...

//将拼写后的字符串添加到Request.Headers中如：request.Headers.Add("Cookie", "拼接串");

Uri logUri = new Uri("http://www.wow52.cn/log.aspx"); //这里设置为http://www.wow52.cn/区别上面dataUri的wow52.cn

//调用上文的GetCookieContainer函数

CookieContainer container = GetCookieContainer(logUri.ToString(), data);

//判断是否是同个域名(主机名)

if (Uri.Compare(dataUri, logUri, UriComponents.Host, UriFormat.SafeUnescaped, StringComparison.OrdinalIgnoreCase) != 0)

{

//逐个取出cookie并更改domain后,添加到request.CookieContainer中

CookieCollection cookies = container.GetCookies(logUri);

request.CookieContainer = new CookieContainer();

foreach (Cookie cookie in cookies)

{

cookie.Domain = dataUri.Host; //使用目标数据页的主机部分

request.CookieContainer.Add(cookie);

}

}

else //domain相同

{

request.CookieContainer = container;

}

//获取响应数据

HttpWebResponse response = request.GetResponse() as HttpWebResponse;

StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));

string html = sr.ReadToEnd();

response.Close();

txtMsg.Text = html; //txtMsg是文本框

---------------------------

注意,

1.上面代码是直接从vs2005复制过来的,没加格式化,方便于直接复制回去,

2.一般的数据采集下使用WebClient比较方便,也可以一起使用WebClient跟WebRequest.

3.WebRequest.AllowAutoRedirect=false;属性 来防止自动重定向

4.WebRequest 想设置Referer 标头时使用 WebRequest.Referer="xxxx" ,直接WebRequest.Headers.Add是不行的

不过使用webClient时可以这么做.

5.注意上面的编码post数据一般要先进行urlEncode,并且指明

request.ContentType = "application/x-www-form-urlencoded";

webClient时使用 webClient.Headers.Add("Content-Type","application/x-www-form-urlencode");

另外在将数据转化成byte[] data(字节数组时)请确认网站使用的编码是utf-8还是gb2312或其他,同样获取返会的数据后(指本类型的),也要根据站点的编码进行转化(到字符串)

6.上面使用formdata是虚拟的,呵呵,防止你黑了我的站(^_^),你如果要测试,请自己另外找个站点,另外.net表单提交时会有一些状态信息,这些你可以通过一向代理工具来获取,并分析得出需要的post数据格式.

另外对于带图片验证码的登录,一般我们在使用WebRequest下载图片时需要同时保存下载图片时的临时SessionID(也是cookie),在提交表单时要将这个SessionID数据(cookie)附加到标头上,这样就可以通过验证,至于图片识别,一般使用图片框显示后人工识别(通用情况下).

参考资料

HttpWebRequest