.net处理页面的抓取数据
2014-05-06 15:51
155 查看
//要抓取数据的页面路径 string url = "http://www.scedu.net/banshi/used-car/lower-secondary-education/middle-school-list/1381286867.shtml"; //将页面上的数据转换为HTML string html = Method.GetHtmlData(url); // txt_content.Text = html; //找到需要的数据匹配正则 (?<name>.+?) string regex = @"<font size=""2"">(?<name>.+?)</td>"; Regex listRegex = new Regex(regex, RegexOptions.Multiline | RegexOptions.IgnoreCase); //得到匹配的数据集合 MatchCollection mc = listRegex.Matches(html); JCheng.Model.School Model = new JCheng.Model.School(); //将得到的字符串分割存进数组 string[] str = txt_content.Text.Substring(0, txt_content.Text.Length - 1).Replace("<br />", "").Split(','); //数据每六个为一个model类 ,如下循环添加入库。 for (int i = 0; i < str.Length - 1; ) { Model.sName = str[i]; Model.sAddress = str[i + 1]; Model.sPostCode = str[i + 2]; Model.sPhone = str[i + 3]; Model.sEmail = str[i + 4]; Model.sClass = str[i + 5]; new JCheng.BLL.School().Add(Model); i += 6; }
经常会遇到需要读取一些省市 区 县之类的信息, 数据庞大,手动输入效率太慢, 以上代码为读取的一个区县的所有中学信息的列表,抓取出来然后存到自己的数据库里面用, 很快很酷炫。 呵呵, 第一次做数据抓取, 代码肯定不是写的很好, 还是记录一下吧,希望对大家有所帮助。
相关文章推荐
- 抓取并处理WEB页面数据(CURL/DOM)
- Scrapy处理ajax页面数据抓取
- .net通过一般处理程序模拟用户控件数据保持、Ispostback 【第二版将html与ashx文件分开】
- Play framework后台处理页面传过来的AJAX-JSON数据并给出响应
- .net之旅-页面处理过程(3)
- C# 使用ajax把数据从页面传到一般处理程序中去
- .net下跨数据分布式事务的处理办法TransactionScope
- Node.js爬虫抓取数据 -- HTML 实体编码处理办法
- 【.NET】使用HtmlAgilityPack抓取网页数据
- 【学习摘记】马士兵bbs改良版_课时27-28_发表新主题:接受数据和处理数据写入同一个页面
- 那些年朋友劝,该知道的ASP.NET - 自定义控件处理页面事件(控件与页面数据交互)的方法
- .Net抓取网页数据
- 一起谈.NET技术,构建高性能ASP.NET站点之一 剖析页面的处理过程(前端)
- 2015-09-09 [一点资讯]--数据抓取和处理工程师--2面
- .NET开发中的事务处理大比拼 之 ASP.NET页面级别的事务
- 知乎爬虫之4:抓取页面数据
- XMLHTTP抓取远程数据的后期处理
- .net 防止页面刷新重复提交(表单提交后保留上一次数据缓存,刷新提交)
- 实用记录.NET处理json数据中单引号和特殊字符串
- .net中 网页抓取数据(提取html中的数据,提取table中的数据)