python爬虫-python 利用代理ip访问网页(requests)
2018-08-07 15:33
661 查看
之前提到了用urllib使用代理ip的方式,详见:https://blog.csdn.net/zhouchen1998/article/details/81318300
这里使用另外一个框架-requests,其设计哲学为“献给人类”。它继承了urllib的所有特性,底层是urllib3。
不同于urllib是python标准库的内容,他是第三方的,所以需要下载安装(conda或者pip都可以)。安装conda和包的方法见我的博客:https://blog.csdn.net/zhouchen1998/article/details/81382006
这里我从goubanjia获取了一个代理ip地址。
[code]import requests # 访问的网页 url = "http://www.baidu.com" # 使用的代理ip地址 proxy = {"http": '37.10.74.14:8080'} # 使用方法一 rsp = requests.get(url=url, proxies=proxy) print(rsp.text) print("$"*60) # 使用方法二 rsp = requests.request("get", url, proxies=proxy) print(rsp.text)
可以看到运行成功,我获得了我想要的网页数据供后续处理,当然由于使用代理的国外ip访问速度稍慢。
阅读更多相关文章推荐
- Python 设置 IP 代理 访问网页 ( 用户名密码验证代理 )
- python3实现网络爬虫(7)-- 使用ip代理抓取网页
- 利用python爬取软考试题之ip自动代理
- 利用代理IP爬取网页的小心得
- Python 爬虫入门(二)—— IP代理使用 - 不剃头的一休哥 - 博客园
- Python3网络爬虫:requests爬取动态网页内容
- 通过Python爬虫代理IP快速增加博客阅读量
- Windows上利用Python自动切换代理IP的终极方案!
- 利用Python爬取可用的代理IP
- python IP代理爬虫,download 代理IP
- 利用Python爬取可用的代理IP
- 利用Python爬虫实现网页图片批量下载
- python爬虫入门教程--利用requests构建知乎API(三)
- python3使用代理ip访问指定网站
- 第三百四十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP
- python爬虫的代理IP设置
- python 网页爬虫+保存图片+多线程+网络代理
- C# 利用代理爬虫网页的实现方法
- python 爬虫获取代理Ip
- Python:爬虫使用代理防封IP:HTTP Error 403: Forbidden