http://passover.blog.51cto.com/2431658/502232
2014-03-18 11:26
323 查看
转载自:点击打开链接
所有写搜索的朋友估计都有过和我一样的烦恼,那就是如果不断的对某一个网站进行爬行,很容易被封IP。最笨的版本就是减少爬行频率,但是在很多场景下对爬行效率是有要求的,那么最直接的办法就是不断切换实际访问的IP,来达到访问流量分散的效果。当然也有很多朋友在用一个比较贱的办法,就是用ADSL拨号方式爬行,一旦被封掉就重新拨号换个IP,这个也算一个非常取巧的手段了。
本文重点介绍代理IP自动切换的方式,其实这个如果只是要实现,那是再简单不过了。一个爬虫在启动的时候读取一批代理IP,访问网页的时候不断轮换,这样就是一个最简单的实现。但是这样有一个比较大的问题,就是你每写一个爬虫就要实现这样的模块,多个爬虫之前还不能共享代理IP资源。
这里我想到利用一个本地代理来实现这个效果,那么爬虫只要连接到这一个代理,他在帮忙访问最终页面的时候再使用一个代理池不断轮换。这个方案既解决了代码重复的问题,又解决了多个爬虫都要维护代理IP列表的麻烦,而且部署起来也非常简单。
经过本方案改造前后的部署示意图:
我这里用Jetty7的proxy server做了一个简单的例子,实现了本地代理的功能,代码非常简单,贴出来大家一起学习下吧。
所有写搜索的朋友估计都有过和我一样的烦恼,那就是如果不断的对某一个网站进行爬行,很容易被封IP。最笨的版本就是减少爬行频率,但是在很多场景下对爬行效率是有要求的,那么最直接的办法就是不断切换实际访问的IP,来达到访问流量分散的效果。当然也有很多朋友在用一个比较贱的办法,就是用ADSL拨号方式爬行,一旦被封掉就重新拨号换个IP,这个也算一个非常取巧的手段了。
本文重点介绍代理IP自动切换的方式,其实这个如果只是要实现,那是再简单不过了。一个爬虫在启动的时候读取一批代理IP,访问网页的时候不断轮换,这样就是一个最简单的实现。但是这样有一个比较大的问题,就是你每写一个爬虫就要实现这样的模块,多个爬虫之前还不能共享代理IP资源。
这里我想到利用一个本地代理来实现这个效果,那么爬虫只要连接到这一个代理,他在帮忙访问最终页面的时候再使用一个代理池不断轮换。这个方案既解决了代码重复的问题,又解决了多个爬虫都要维护代理IP列表的麻烦,而且部署起来也非常简单。
经过本方案改造前后的部署示意图:
我这里用Jetty7的proxy server做了一个简单的例子,实现了本地代理的功能,代码非常简单,贴出来大家一起学习下吧。
public class WiseProxyServlet extends ProxyServlet { public void service(ServletRequest req, ServletResponse res) throws ServletException, IOException { _client.setProxy(getProperAddress()); super.service(req, res); } /** * 这应该是在一个代理池中按照一定的规则来不断切换代理 */ private Address getProperAddress() { return new Address("222.169.11.102", 8080); } }
public class WiseProxyServer { public static void main(String[] args) throws Exception { Server server = new Server(); SelectChannelConnector connector = new SelectChannelConnector(); connector.setPort(8888); server.addConnector(connector); HandlerCollection handlers = new HandlerCollection(); server.setHandler(handlers); // Setup proxy servlet ServletContextHandler context = new ServletContextHandler(handlers, "/", ServletContextHandler.SESSIONS); ServletHolder proxyServlet = new ServletHolder(WiseProxyServlet.class); context.addServlet(proxyServlet, "/*"); // Setup proxy handler to handle CONNECT methods ConnectHandler proxy = new ConnectHandler(); handlers.addHandler(proxy); server.start(); } }
相关文章推荐
- http://22494.blog.51cto.com
- 用C#实现HTTP协议下的多线程文件传输
- 使用XMLHttprequest对象进行异步调用html页面的示例
- http://www.joachim-bauch.de/tutorials/loading-a-dll-from-memory/
- http Keep-Alive 学习
- Listeners for HttpSession
- HTTP 协议标头
- 无法连接到http://XXX/arcgis/services 错误拒绝访问:计算机som服务为启动或som权限
- eclipse j2ee可以启动项目无法访问http:localhost:8080/的解决方案
- Suse Linux下NTP缓慢调整配置,转载至http://www.gpstime.com.cn/
- HTTP 错误 404.13 - Not Found 请求筛选模块被配置为拒绝超过请求内容长度的请求
- http和socket之长连接和短连接区别
- 实现jquery.ajax及原生的XMLHttpRequest跨域调用WCF服务的方法
- 详解HttpURLConnection
- tomcat-转载来自http://blog.csdn.net/rentian1/article/details/51208703
- 在线修改http header
- HTTP/2探索第一篇——概念
- 第一章:认识HTTP,区分URI 、URL 、URN
- Keepaliev+Nginx+http
- Hive系列之HSQL转换成MapReduce过程 ,http://www.jianshu.com/p/660fd157c5eb