c# WebBrower 与 HttpRequest配合 抓取数据
2016-02-23 15:29
302 查看
今天研究一个功能，发现一个问题。
通过webbrower模拟用户自动登录可以完成，并且可以取到相对应的页面内容。
但是如果页面中通过ajax,动态加载的内容，这种方式是取不到的，于是用到了httpRequest get。
如果没有登录还好，有登录以后则需要进行验证。
但是web登录是别人做的，他们的认证机制并不清楚。
于是通过抓包工具，抓下来分析，发现认证sessionid是藏在httphead的cookie中。
于是在httprequest的时候，按照抓包的格式，进行httphead的复制，成功了。
rqst.Headers[HttpRequestHeader.Cookie] = ".....;...."
通过webbrower模拟用户自动登录可以完成，并且可以取到相对应的页面内容。
但是如果页面中通过ajax,动态加载的内容，这种方式是取不到的，于是用到了httpRequest get。
如果没有登录还好，有登录以后则需要进行验证。
但是web登录是别人做的，他们的认证机制并不清楚。
于是通过抓包工具，抓下来分析，发现认证sessionid是藏在httphead的cookie中。
于是在httprequest的时候，按照抓包的格式，进行httphead的复制，成功了。
rqst.Headers[HttpRequestHeader.Cookie] = ".....;...."
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 利用python搭建一个简单的http服务器
- TCP/IP、Http、Socket的区别
- iOS开发网络篇—文件下载（三·进度条）
- 和我一起学《HTTP权威指南》——安全HTTP与HTTPS
- 博客迁址 http://my.csdn.net/aflyeaglenku
- linux下5种网络IO模型简介
- Android实现网络多线程断点续传下载
- 计算机网络原理笔记（五、运输层）
- HTTP status Code 412 未满足前提条件的解决方法之一
- tcp有限状态机
- tcpcopy1.0系列使用方法
- 能发送http请求(get,post)的工具
- MockWebServer
- 基于TCP协议的Socket通信
- HTTP协议详解（真的很经典）
- TCP和UDP总结
- 使用Glide以及OkHttp集成
- iOS 设置APP模拟网络不佳情况
- java_网络编程学习笔记(四)
- 网络编程