python抓取数据,python使用socks代理抓取数据
2017-09-09 01:59
525 查看
在python中,正常的抓取数据直接使用urllib2 这个模块:
如果要走http代理的话,我们也可以使用urllib2,不需要引用别的模块:
如果要使用socks5代理, 我们需要别的模块 sockes, socket, 我们可以通过pip install socksipy , (我是windows的系统, 还需要另外的一个模块, pip
install win_inet_pton) 建议直接下载安装包到python的安装目录,切换到对应目录,执行python setup.py install安装,真被大天朝的墙给坑死了, 然后在需要代理的模块上添加socket代码:
完整的代码如下:
使用requests模块, 我们也在requests之前添加socket的代码,后面的http请求不用改了,还是走原来的逻辑:
相关:
github:https://github.com/mitsuhiko/python-geoip/issues/4
作者: NONO
出处:http://www.cnblogs.com/diligenceday/
企业网站:http://www.idrwl.com/ 厦门点燃未来网络科技
开源博客:http://www.github.com/sqqihao
QQ:287101329
微信:18101055830
import urllib2 url = 'http://fanyi.baidu.com/' stream = urllib2.urlopen(url) cont = stream.read() print cont
如果要走http代理的话,我们也可以使用urllib2,不需要引用别的模块:
import urllib2 url = 'https://clients5.google.com/pagead/drt/dn/dn.js' proxy_handler = urllib2.ProxyHandler({'http':'127.0.0.1:1080'}) opener = urllib2.build_opener(proxy_handler) f = opener.open(url) print f.read()
如果要使用socks5代理, 我们需要别的模块 sockes, socket, 我们可以通过pip install socksipy , (我是windows的系统, 还需要另外的一个模块, pip
install win_inet_pton) 建议直接下载安装包到python的安装目录,切换到对应目录,执行python setup.py install安装,真被大天朝的墙给坑死了, 然后在需要代理的模块上添加socket代码:
import socks import socket socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 1080) socket.socket = socks.socksocket
完整的代码如下:
//添加的代码开头
import win_inet_pton
import socks import socket socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 1080) socket.socket = socks.socksocket
//添加的代码结束
import urllib2
steam = urllib2.urlopen('https://clients5.google.com/pagead/drt/dn/dn.js')
print steam.read()
使用requests模块, 我们也在requests之前添加socket的代码,后面的http请求不用改了,还是走原来的逻辑:
//添加的代码开头 import win_inet_pton import socket import socks import requests ip='localhost' port = 1080 socks.setdefaultproxy(socks.PR 8bb7 OXY_TYPE_SOCKS5, ip, port) socket.socket = socks.socksocket //添加的代码结束 url = 'https://clients5.google.com/pagead/drt/dn/dn.js' print requests.get(url).text
相关:
github:https://github.com/mitsuhiko/python-geoip/issues/4
作者: NONO
出处:http://www.cnblogs.com/diligenceday/
企业网站:http://www.idrwl.com/ 厦门点燃未来网络科技
开源博客:http://www.github.com/sqqihao
QQ:287101329
微信:18101055830
相关文章推荐
- python抓取数据,python使用socks代理抓取数据
- python使用spynner抓取动态页面数据
- 使用Python调用Flickr API抓取图片数据
- 使用python抓取婚恋网用户数据并用决策树生成自己择偶观
- 使用新浪微博官方API抓取微博数据(Python版)
- Python中使用PhantomJS抓取Javascript网页数据
- 使用python抓取知乎日报的API数据
- [置顶] [爬虫]使用python抓取京东全站数据(商品,店铺,分类,评论)
- 使用Python抓取我爱我家二手房数据
- 浅谈如何使用python抓取网页中的动态数据
- 使用python抓取汽车之家车型数据
- Python使用cookielib和urllib2模拟登陆新浪微博并抓取数据
- Python使用pyquery抓取数据实例
- 使用python抓取分析链家网二手房数据
- Python使用mechanize模拟登录、抓取数据的代码
- Python使用mechanize模拟登录、抓取数据的代码
- 使用python抓取并分析数据—链家网(requests+BeautifulSoup)(转)
- 一个简单的使用python抓取网页中的水文数据的程序
- 使用python抓取并分析数据-链家网(上)
- 在Python3中使用asyncio库进行快速数据抓取的教程