利用C#实现web信息自动抓取
2008-01-30 16:23
691 查看
背景
随着Internet的普及,网络信息正以极高的速度增长,在这么多数据中找到自己需要的信息是一件很繁琐的事情,找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。
所谓Internet信息抓取程序,就是程序会按照用户的关键词或关键网站来收集相应的信息,并提供给用户想要的信息格式。
信息量的增加会带来信息网站发布人员工作量的剧增,为实现信息发布系统实现信息自
动发布、减少工作人员工作量、即时跟踪最新信息,就需要自动信息提供程序,因此Internet信息抓取程序应运而生。
目标
实现自定义网站信息分类抓取,存入本地数据库、生成静态页面或其它用户定义的信息结构,并下载与信息相关的多媒体文件。
开发
目标站点结构分析
本步骤是准确抓取信息个关键。
首先要选择更新频率高的页面做为抓取地址,然后分析要抓取内容页面url特点。
然后分析要抓取信息页面的元素特性,比如标题位置,内容位置 等,得到定位标记点。
将以上信息写成自己的配置文件或存到数据库中。
每个网站都需要分析,写出单独的配置文件,供抓取程序使用。
信息提取
根据配置文件取得要抓取页面url,使用HttpWebRequest类获取内容:
[align=left]//获取http页面函数[/align]
[align=left]public string Get_Http(string a_strUrl,int timeout)[/align]
[align=left]{[/align]
[align=left]string strResult ; [/align]
[align=left][/align]
[align=left]try[/align]
[align=left]{[/align]
[align=left]HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ;[/align]
[align=left]myReq.Timeout = timeout;[/align]
[align=left]HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();[/align]
[align=left][/align]
[align=left]Stream myStream = HttpWResp.GetResponseStream () ;[/align]
[align=left][/align]
[align=left]StreamReader sr = new StreamReader(myStream , Encoding.Default);[/align]
[align=left]StringBuilder strBuilder = new StringBuilder();[/align]
[align=left]while (-1 != sr.Peek())[/align]
[align=left]{[/align]
[align=left]strBuilder.Append(sr.ReadLine()+"\r\n");[/align]
[align=left]}[/align]
[align=left][/align]
[align=left]strResult = strBuilder.ToString();[/align]
[align=left]}[/align]
[align=left]catch(Exception exp)[/align]
[align=left]{[/align]
[align=left]strResult = "错误:" + exp.Message ;[/align]
[align=left]}[/align]
[align=left][/align]
[align=left]return strResult ;[/align]
[align=left][/align]
}
随着Internet的普及,网络信息正以极高的速度增长,在这么多数据中找到自己需要的信息是一件很繁琐的事情,找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。
所谓Internet信息抓取程序,就是程序会按照用户的关键词或关键网站来收集相应的信息,并提供给用户想要的信息格式。
信息量的增加会带来信息网站发布人员工作量的剧增,为实现信息发布系统实现信息自
动发布、减少工作人员工作量、即时跟踪最新信息,就需要自动信息提供程序,因此Internet信息抓取程序应运而生。
目标
实现自定义网站信息分类抓取,存入本地数据库、生成静态页面或其它用户定义的信息结构,并下载与信息相关的多媒体文件。
开发
目标站点结构分析
本步骤是准确抓取信息个关键。
首先要选择更新频率高的页面做为抓取地址,然后分析要抓取内容页面url特点。
然后分析要抓取信息页面的元素特性,比如标题位置,内容位置 等,得到定位标记点。
将以上信息写成自己的配置文件或存到数据库中。
每个网站都需要分析,写出单独的配置文件,供抓取程序使用。
信息提取
根据配置文件取得要抓取页面url,使用HttpWebRequest类获取内容:
[align=left]//获取http页面函数[/align]
[align=left]public string Get_Http(string a_strUrl,int timeout)[/align]
[align=left]{[/align]
[align=left]string strResult ; [/align]
[align=left][/align]
[align=left]try[/align]
[align=left]{[/align]
[align=left]HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ;[/align]
[align=left]myReq.Timeout = timeout;[/align]
[align=left]HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();[/align]
[align=left][/align]
[align=left]Stream myStream = HttpWResp.GetResponseStream () ;[/align]
[align=left][/align]
[align=left]StreamReader sr = new StreamReader(myStream , Encoding.Default);[/align]
[align=left]StringBuilder strBuilder = new StringBuilder();[/align]
[align=left]while (-1 != sr.Peek())[/align]
[align=left]{[/align]
[align=left]strBuilder.Append(sr.ReadLine()+"\r\n");[/align]
[align=left]}[/align]
[align=left][/align]
[align=left]strResult = strBuilder.ToString();[/align]
[align=left]}[/align]
[align=left]catch(Exception exp)[/align]
[align=left]{[/align]
[align=left]strResult = "错误:" + exp.Message ;[/align]
[align=left]}[/align]
[align=left][/align]
[align=left]return strResult ;[/align]
[align=left][/align]
}
相关文章推荐
- C#实现web信息自动抓取
- (转自Timon's wang blogs)C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现通过程序自动抓取远程Web网页信息的代码
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#(ASP.NET) 下载数据 C#实现通过程序自动抓取远程Web网页信息
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现通过程序自动抓取远程Web网页信息(转载)
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现web信息自动抓取
- C#实现通过程序自动抓取远程Web网页信息
- C#实现web信息自动抓取