利用HttpWebRequest抓取网页数据
2015-07-16 14:29
696 查看
根据运单号来获取运单状态 以EMS快递为例:
第一步首先分析要抓取网站的入口及参数 http://www.ems.com.cn
第二部利用httpwebRequest 模拟浏览器请求来获取网页内容
获取整个网页内容
然后利用正则过滤出想要获得的信息
第一步首先分析要抓取网站的入口及参数 http://www.ems.com.cn
第二部利用httpwebRequest 模拟浏览器请求来获取网页内容
HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create(url); Encoding encoding = Encoding.UTF8; string param = "muMailNum=" + mailCode + "&checkCode=" + code; byte[] bs = Encoding.ASCII.GetBytes(param); req.Method = "POST"; req.Timeout = 30000; req.ContentType = "application/x-www-form-urlencoded"; req.ContentLength = bs.Length; req.CookieContainer = _cookieCon; using (Stream reqStream = req.GetRequestStream()) { reqStream.Write(bs, 0, bs.Length); reqStream.Close(); } using (HttpWebResponse response = (HttpWebResponse)req.GetResponse()) { using (StreamReader reader = new StreamReader(response.GetResponseStream(), encoding)) { responseData = reader.ReadToEnd().ToString(); } }
获取整个网页内容
然后利用正则过滤出想要获得的信息
相关文章推荐
- TCP详解(2):三次握手与四次挥手
- java通过http调用服务
- Python 标准库 BaseHTTPServer 中文翻译
- web api control注册及重写DefaultHttpControllerSelector、ApiControllerActionSelector、ApiControllerActionInvoker
- [C#HttpHelper]类1.4正式版教程与升级报告
- tinyhttpd学习笔记(二)socket相关知识
- 计算机网络—HTTP协议
- Java / Android 基于Http的多线程下载的实现
- Android网络框架-Volley实践 使用Volley打造自定义ListView
- 计算机网络—IPv4与IPv6 的区别
- crawler_http关闭连接
- Afianl框架里面的FinalBitmap加载网络图片
- 转:基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
- Http之客户端请求服务器,服务器响应客户端。通过Handler在主线程中读取数据
- HTTP 协议漫谈
- 网络图片查看器
- http://www.cnblogs.com/wangfupeng1988/p/4001284.html
- Dart网络编程-拼字游戏
- 模仿jquery框架源码---网络
- 网络爬虫(蜘蛛)Scrapy,Python安装!