用.net实现远程获取其他网站页面内容!(核心代码分析)

当当全新正版图书，9周年店庆，特价销售，全场免运费！

用.net实现远程获取其他网站页面内容!(核心代码分析) 原作地址：http://www.xct.cn/forums/838/PrintPost.shtml
　　Jonvie 2005-06-24, 21:28 下午
　　远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做'新闻小偷'
　　一般来说.做内容采集分为如下几个大致的步骤:
　　1.远程获取页面的全部Html源文本.
　　2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据)
　　3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库.
　　ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码!
　　首先我们来写一个获取远程Html源的方法.
　　public string GetHttpData(string Url)
　　 {
　　 string sException=null;
　　 string sRslt=null;
　　 WebResponse oWebRps=null;
　　 WebRequest oWebRqst=WebRequest.Create(Url);
　　 oWebRqst.Timeout=50000;
　　 try
　　 {
　　 oWebRps=oWebRqst.GetResponse();
　　 }
　　 catch(WebException e)
　　 {
　　 sException=e.Message.ToString();
　　 EYResponse.Write(sException);
　　 }
　　 catch(Exception e)
　　 {
　　 sException=e.ToString();
　　 EYResponse.Write(sException);
　　 }
　　 finally
　　 {
　　 if(oWebRps!=null)
　　 {
　　 StreamReader oStreamRd=new StreamReader(oWebRps.GetResponseStream(),Encoding.GetEncoding('GB2312'));
　　 sRslt=oStreamRd.ReadToEnd();
　　 oStreamRd.Close();
　　 oWebRps.Close();
　　 }
　　 }
　　 return sRslt;
　　 }
　　以上代码为获取远程Html源的一个方法.参数仅一个.就是你要获取的目标页面的完整Url路径.
　　返回一个string类型的Html源数据.
　　下面我们再来继续第二个步骤.分析自己需要的有效数据!
　　这里我假设某个页面来做分析...
　　public string [] GetData(string Html){String [ ] rS=new String[2]; string s = Html; s=Regex.Replace(s,'//s{3,}',''); s=s.Replace('/r',''); s=s.Replace('/n',''); string Pat='<td align=/'center/' width=/'95%/' border=/'0/' cellspacing=/'0/' cellpadding=/'10/'>.*</table>)<table width=/'98%/' border=/'0/' cellspacing=/'0/' cellpadding=/'0/'>(.*)<td align=center style="COLOR: #000000"'; Regex Re = new Regex(Pat); Match Ma= Re.Match(s); if(Ma.Success) { rS[0]=Ma.Groups[1].ToString(); rS[1]=Ma.Groups[2].ToString(); pgStr=Ma.Groups[3].ToString(); }return rS;}
　　这个方法也很简单.主要功能及时截取获取过来的Html源.取得自己需要的数据...
　　参数是一个string类型的.将我们获取的html源通过参数传递过来.
　　在方法类通过一个正则的模式匹配找到标题和内容的位置并取出来.存入一个string的数组给方法返回...
　　以后的事我就不多说了..
　　你只要把你取出来的数据存到你数据库对应的字段就ok了!