采集程序需要保存登录后获取的cookie

采集需要登录后的网页(重定向后cookie丢失问题)

在采集需要登陆后访问的页面中,采集程序需要保存登录后获取的cookie,由于有些网站登录验证成功后就将用户直接重定向到目标页,
如: Response.Redirect("/user/index.asp")
响应头部含如下参数
Location: /user/index.aspx
Set-Cookie: .ASPXAUTH=3DABFC1691FD31F16EFF68D55202130196135D8B3F0A8B630C956242FBBA802EDB912E0B84D6601A6F425824DA1C28AFBDF04E6B4D0CA6E7D7EBB7DD2A212F5FFFF2921DF35CE098F603CE31E56D71AD68CC23117123E11AB8323AD86B648665; expires=Thu, 04-Dec-2008 02:59:15 GMT; path=/; HttpOnly
这样在使用WebClient时,不能捕捉到需要的cookie,这个时候就需要使用HttpWebRequest(WebRequest针对http协议的实现)

获取cookieContainer

---------------------------------------
private System.Net.CookieContainer GetCookieContainer(string logUrl,byte[] data)
{
HttpWebRequest request = HttpWebRequest.Create(logUrl) as HttpWebRequest;
request.AllowAutoRedirect = false;//禁止自动重定向
request.Method = "Post"; //使用post方法
request.ContentType = "application/x-www-form-urlencoded";//form提交时使用urlencode
request.ContentLength = data.Length;
request.CookieContainer = new CookieContainer();
Stream uploadStream=request.GetRequestStream();
uploadStream.Write(data, 0, data.Length);
uploadStream.Close();
HttpWebResponse resposne = request.GetResponse() as HttpWebResponse;
resposne.Close();
return request.CookieContainer;//反会获取的cookieContainer
}

//登录后获取cookie再进行数据采集,需要导如System.IO,System.Net,System.Web等命名空间

-------------------------------------------------

string formData=@"Username=xxxx&Password=dafa34@234";//登录页面表单字段
//使用gb2312进行Url编码
formData= HttpUtility.UrlEncode(formData,Encoding.GetEncoding("gb2312"));
//编码为字节数据
byte[] data = Encoding.GetEncoding("gb2312").GetBytes(formData);

//是需要登陆后获取的页面（数据采集页)
Uri dataUri = new Uri("http://wow52.cn/admin/article.aspx");
HttpWebRequest request = WebRequest.Create(dataUri) as HttpWebRequest;

//设置来路,有些站点会检测访问来路来判断是否为盗链等.
//使用WebRequest时你无法直接使用 request.Hands.Add("Referer","http://www.wow52.cn/log.aspx")
//来添加标头
request.Referer="http://www.wow52.cn/log.aspx";
//一些其他设置
//request.Accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-silverlight, application/x-ms-application, application/x-ms-xbap, application/vnd.ms-xpsdocument, application/xaml+xml, */*";
//request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)";
request.Method = "GET";
//登录页地址，需要特别注意的是这个uri的域名必须要与上面一致
//使用www.wow52.cn获取的cookieContainer只有在域名为www.wow52.cn时才会被附加上
//对一些使用了二级域名的站点，各数据页二级域名各不相同的，可以将Cookie逐个取出
//再拼接起来，如: cookieName1=cookieValue1;cookieName2=cookieValue2;...
//将拼写后的字符串添加到Request.Headers中如：request.Headers.Add("Cookie", "拼接串");
Uri logUri = new Uri("http://www.wow52.cn/log.aspx"); //这里设置为http://www.wow52.cn/区别上面dataUri的wow52.cn

//调用上文的GetCookieContainer函数
CookieContainer container = GetCookieContainer(logUri.ToString(), data);

//判断是否是同个域名(主机名)
if (Uri.Compare(dataUri, logUri, UriComponents.Host, UriFormat.SafeUnescaped, StringComparison.OrdinalIgnoreCase) != 0)
{
//逐个取出cookie并更改domain后,添加到request.CookieContainer中

CookieCollection cookies = container.GetCookies(logUri);
request.CookieContainer = new CookieContainer();
foreach (Cookie cookie in cookies)
{
cookie.Domain = dataUri.Host; //使用目标数据页的主机部分
request.CookieContainer.Add(cookie);
}

}
else //domain相同
{
request.CookieContainer = container;
}
//获取响应数据
HttpWebResponse response = request.GetResponse() as HttpWebResponse;
StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
string html = sr.ReadToEnd();
response.Close();
txtMsg.Text = html; //txtMsg是文本框

---------------------------

注意,
1.上面代码是直接从vs2005复制过来的,没加格式化,方便于直接复制回去,

2.一般的数据采集下使用WebClient比较方便,也可以一起使用WebClient跟WebRequest.

3.WebRequest.AllowAutoRedirect=false;属性 来防止自动重定向

4.WebRequest 想设置Referer 标头时使用 WebRequest.Referer="xxxx" ,直接WebRequest.Headers.Add是不行的
不过使用webClient时可以这么做.

5.注意上面的编码post数据一般要先进行urlEncode,并且指明
request.ContentType = "application/x-www-form-urlencoded";
webClient时使用 webClient.Headers.Add("Content-Type","application/x-www-form-urlencode");
另外在将数据转化成byte[] data(字节数组时)请确认网站使用的编码是utf-8还是gb2312或其他,同样获取返会的数据后(指本类型的),也要根据站点的编码进行转化(到字符串)

6.上面使用formdata是虚拟的,呵呵,防止你黑了我的站(^_^),你如果要测试,请自己另外找个站点,另外.net表单提交时会有一些状态信息,这些你可以通过一向代理工具来获取,并分析得出需要的post数据格式.

另外对于带图片验证码的登录,一般我们在使用WebRequest下载图片时需要同时保存下载图片时的临时SessionID(也是cookie),在提交表单时要将这个SessionID数据(cookie)附加到标头上,这样就可以通过验证,至于图片识别,一般使用图片框显示后人工识别(通用情况下).

参考资料
HttpWebRequest