反反爬 | 如何巧过 CloudFlare 5秒盾?
巧破 Cloudflare 5秒盾
相信下面这个界面大家都不会陌生。【图1-1】
图1-1
当我们第一次访问使用 CloudFlare 加速的网站时,网站就会出现让我们等待 5 秒种的提示,当我们需要的通过爬虫爬取这类网站的时候,应该如何爬取呢?
分析请求
首先我们需要分析在这个等待的时间里浏览器做了哪些操作。
通过抓包,我们可以看到在等待的过程中,浏览器做了下面的三次请求【图1-2】- 【图1-4】:
【图1-2】请求 1 写入 cookie 字段 _ _cfduid
图1-2
【图1-3】请求 2 带有疑似加密的请求参数请求并写入 cookie 字段 cf_clearance
图1-3
【图1-4】请求 3 带上前面写入的cookie 请求网站首页,返回首页内容。
图1-4
这整个过程需要的请求现在已经分析清楚了,接下来就是使用 Python 实现这个请求流程,不过是这样的话就配不上这个标题了。
先说说这个按照正常流程是怎么实现抓取绕过的:
-
使用浏览器模拟技术请求目标网站,例如:Selenium、 PhantomJS等
- 破解请求 2 的加密参数使用请求库模拟整个请求过程
这两个方法当然是可以抓取的,但是都不符合标题的巧字。
接下来给大家介绍一个专门为了绕过这个 CloudFlare 开发的 Python 库 cloudflare-scrape
用上它就可以无感爬取使用了 CloudFlare 的网站,使用这个库非常简单。
安装
使用pip install cfscrape安装cloudflare-scrape,同时确认本地是否安装node.js开发环境,如果没有,需要安装配置nodejs开发环境。
使用实例
处理 get 请求的 CloudFlare
import cfscrape # 实例化一个create_scraper对象 scraper = cfscrape.create_scraper() # 请求报错,可以加上时延 # scraper = cfscrape.create_scraper(delay = 10) # 获取网页源代码 web_data = scraper.get("https://wallhere.com/").content print(web_data)
处理 post 请求的 CloudFlare
# import cfscrape # 实例化一个create_scraper对象 scraper = cfscrape.create_scraper() # 获取真实网页源代码 web_data = scraper.post("http://example.com").content print(web_data)
使用cloudflare-scrape后整个请求过程如丝般顺滑。
总结
今天的水文到这里就结束了,很高兴又水了一篇文章。
之后抽个时间讲讲请求 2 中的加密参数如何生成,这样就可以再水一篇,敬请期待~
EOF
- 反反爬 | 如何巧过 CloudFlare 5秒盾?
- 【爬虫】绕过 CloudFlare 5秒盾的方案
- 如何实现ASPX页面等待5秒,自动跳转到另一个页面INDEX。ASPX
- 微信推广营销--如何提高微信订阅号的图文转化率?
- javascript 如何访问 action或者controller 传给 jsp 页面的值
- JavaWeb 省市级菜单如何被选中
- cameraservice如何跨进程传递video数据——类图
- 如何循环遍历winForm中所有窗体的名称,所有活动的窗体
- 如何运行带有pod的项目
- Thymeleaf中each标签遍历list如何获取index
- eclipse如何修改dynamic web module version
- 如何实现Android计时与倒计时的几种方法
- php后台如何避免用户直接进入方法实例
- 如何用Beyond Compare修改差异文件夹
- 如何使用Win8系统自带杀毒软件
- 如何在fedora上编译c或c++文件
- Swift类中如何创建一个对外只读对内可读写的属性
- java中如何生成缩略图
- 如何设置windows 2003的最大远程连接数
- Vue系列:如何将百度地图包装成Vue的组件