C#网络爬虫

今天研究了一下C#的网络爬虫，大概用了三种方法：webbrowser,webClient,HttpWebRequest

webbroswer的速度相当慢，但可以进行一些操作，比如可以进行模拟点击等等；

webClient简单 易用，但是灵活性不高。不能下载需要身份验证的网页 刚试了一下，出现了爬取得页面与本页面内容部符合的现象，现在还没有发现问题的所在

HttpWebRequest复杂，灵活性高。需要身份验证的网页用此方法。