C# 利用代理爬虫网页的实现方法
2017-10-11 14:51
726 查看
C# 利用代理爬虫网页
实现代码:
// yanggang@mimvp.com // http://proxy.mimvp.com // 2015-11-09 using System; using System.IO; using System.Net; using System.Text; namespace ConsoleApplication1 { class Program { public static void Main(string[] args) { System.Net.WebProxy proxy = new WebProxy("218.21.230.156", 443); // "107.150.96.188", 8080 HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://proxy.mimvp.com"); request.Proxy = proxy; using (WebResponse response = request.GetResponse()) { using (TextReader reader = new StreamReader(response.GetResponseStream())) { string line; while ((line = reader.ReadLine()) != null) Console.WriteLine(line); } } } public static void Main2() { // your code goes here System.Net.WebProxy proxy = new WebProxy("107.150.96.188", 8080); System.Net.HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.baidu.com"); req.Proxy = proxy; req.Timeout = 30 * 1000; System.Net.HttpWebResponse resp = (HttpWebResponse)req.GetResponse(); Encoding bin = Encoding.GetEncoding("UTF-8"); StreamReader reader = new StreamReader(resp.GetResponseStream(), bin); string str = reader.ReadToEnd(); Console.WriteLine(str); reader.Close(); reader.Dispose(); } } }
获取更多代理,请访问米扑代理:
如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!
您可能感兴趣的文章:
相关文章推荐
- Py之Crawler:爬虫利用随机选取代理访问服务器的方法实现下载某网址上所有的图片到指定文件夹——Jason niu
- 禁用IE的后退按钮|显示网页已过期|几种语言的实现方法|c#|javascript|html
- c#关于网页内容抓取,简单爬虫的实现。(包括动态,静态的)
- 【转】如何利用C#编写网页投票器程序|如何使用代理来投票|代理IP来投票
- C#利用dig命令解析SRV方法的具体实现
- C#利用扩展方法,不引入新的类型,实现矩阵的操作
- 禁用IE的后退按钮|显示网页已过期|几种语言的实现方法|c#|javascript|html
- Unity3D 游戏引擎之利用C#实现代理模式
- c#关于网页内容抓取,简单爬虫的实现。(包括动态,静态的)
- 如何利用C#编写网页投票器程序 如何使用代理来投票 代理IP来投票
- 如何利用C#编写网页投票器程序 如何使用代理来投票 代理IP来投票
- C#中利用代理实现观察者设计模式
- unity3d学习笔记(十八)--利用C#的代理和事件结合NGUI的按钮实现施放技能
- c#之利用API函数实现动画窗体的方法详解
- 利用AJAX开源项目 在网页里播放视频实现方法
- 利用sender的Parent获取GridView中的当前行 不用AJAX实现前台JS调用后台C#方法(小技巧) AjaxControlToolkit的CalendarExtender的本地化
- c#关于网页内容抓取,简单爬虫的实现。(包括动态,静态的)
- xml学习(三)---利用xml文件实现数据岛功能(网页显示xml文件中的内容免C#代码操作xml文件)
- C#网页刷票器(实现代理IP投票)
- 如何利用C#编写网页投票器程序 如何使用代理来投票 代理IP来投票