.Net Windows 程序中 使用WebBrowser实现需要登陆的页面截取(采集)
2007-03-12 11:23
555 查看
很多网站实行会员制度,网站里的某一块,或全部数据只对会员开放,就是说你必须登陆后才能看的到,那么怎样才能采集这样的网站数据呢?
一般的网站多是才用Cookie机制来实现用户登陆了,当你登陆一个网站后服务器就会发一段Cookie给你的浏览器,这样你,接下来访问这个网站的其他页面时,浏览器多会自动带上这段信息,而服务器上的CGI(Asp,PHP,Asp.Net)等就是通过这段数据来判断你是否登陆,应次,登陆一个网站,获得服务器发过来的Cookie 信息,并且在以后的请求(请求要采集的页面)里把这段Cookie信息添加到请求报头里,这样服务器就会认为你是已经登陆的用户(事实上我们确实登陆了)
实现以上功能可以通过.Net Windows程序中的WebBrowser控件轻松实现,WebBrowser控件中有一个webBrowser1.Document.Cookie的属性你只要通过他就可以轻松或去与设定Cookie信息.当然你可以通过它来获取Cookie信息,再使用System.Net.WebClient类来采集指定的页面
更多文章可以参考(http://www.weekday-wow.com)
一般的网站多是才用Cookie机制来实现用户登陆了,当你登陆一个网站后服务器就会发一段Cookie给你的浏览器,这样你,接下来访问这个网站的其他页面时,浏览器多会自动带上这段信息,而服务器上的CGI(Asp,PHP,Asp.Net)等就是通过这段数据来判断你是否登陆,应次,登陆一个网站,获得服务器发过来的Cookie 信息,并且在以后的请求(请求要采集的页面)里把这段Cookie信息添加到请求报头里,这样服务器就会认为你是已经登陆的用户(事实上我们确实登陆了)
实现以上功能可以通过.Net Windows程序中的WebBrowser控件轻松实现,WebBrowser控件中有一个webBrowser1.Document.Cookie的属性你只要通过他就可以轻松或去与设定Cookie信息.当然你可以通过它来获取Cookie信息,再使用System.Net.WebClient类来采集指定的页面
更多文章可以参考(http://www.weekday-wow.com)
相关文章推荐
- 使用HttpWebRequest和HttpWebResponse实现模拟登录需要登陆后才可以访问的页面
- php 论坛采集程序 模拟登陆,抓取页面 实现代码
- php 论坛采集程序 模拟登陆,抓取页面 实现代码
- asp.net c#采集需要登录页面的实现原理及代码
- C#多线程使用webbrowser实现采集动态网页的爬虫机器人
- JAVA使用jsoup技术实现网站URL解析爬取|爬取网站登陆后页面动态数据
- Spring Boot 搭建应用实现登陆实例,页面使用bootstrap
- 3.第三单元任务二实训:使用作业提交系统提交Java作业时 ,需要输入Java源代码文件名和自己的邮箱,提交前对Java文件名以及邮箱进行有效检查。编写程序实现对输入的Java源文件名以及邮箱有效性的
- C#之使用NotifyIcon实现任务栏托盘菜单,图标闪烁效果及气泡提示 很多程序是只需要后台运行的,甚至不需要自己的应用界面。NotifyIcon提供了程序在任务栏的显示功能 程序下载链接如下
- Android 使用 intent 实现简单登陆页面
- 使用 webBrowser 进行页面采集时捕获所有xhr数据
- 获取需要登陆才能被访问的页面,HttpClient(扩展HttpWebRequest)来实现
- MFC项目使用webbrowser控件,点击载入的页面里的文件下载链接后导致程序的崩溃问题的解决方案
- 编写一个聊天程序:有接收数据部分,和发数据的部分, 这两部分需要同时执行,使用多线程实现,一个控制接收,一个控制发送
- 问题一:编写函数stringcat,实现字符串的连接,程序中需要使用指针形式访问字符串
- 使用w使使用webbrowser控件,浏览页面时,点右键查看属性时程序死掉
- iframe 的使用和登陆退出的实现——整个页面跳转
- 使用无刷新技术,去请求该失效Session的页面,实现跳转到重新登陆页面。
- 使用w使使用webbrowser控件,浏览页面时,点右键查看属性时程序死掉