python通过伪装头部数据抵抗反爬虫的实例
2018-05-07 08:47
671 查看
0x00 环境
系统环境:win10
编写工具:JetBrains PyCharm Community Edition 2017.1.2 x64
python 版本:python-3.6.2
抓包工具:Fiddler 4
0x01 头部数据伪装思路
通过http向服务器提交数据,以下是通过Fiddler 抓取python没有伪装的报文头信息
GET /u012870721 HTTP/1.1 Accept-Encoding: identity Host: blog.csdn.net User-Agent: <span style="color:#ff0000;">Python-urllib/3.6</span> Connection: close
Python-urllib/3.6
很明显啊,我们暴露了。现在要问了,该怎么!模拟浏览器,让自己伪装成浏览器,一下是浏览器访问发送的头部数据
Connection: keep-alive Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 Referer: http://write.blog.csdn.net/postlist Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.8
0x02代码实现
from urllib import request html_url = "http://blog.csdn.net/u012870721"; #伪装构造头 header ={ "Connection": "keep-alive", "Upgrade-Insecure-Requests": "1", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36", "Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "Accept-Encoding": "gzip,deflate", "Accept-Language": "zh-CN,zh;q=0.8" }; #int main() #{ req = request.Request(url=html_url, headers=header); resp = request.urlopen(req); # return 0; # }
伪装后进行发送的信息头
GET /u012870721 HTTP/1.1 Host: blog.csdn.net Connection: close Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding: gzip,deflate Accept-Language: zh-CN,zh;q=0.8
以上这篇python通过伪装头部数据抵抗反爬虫的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- python通过伪装头部数据抵抗反爬虫
- Python爬虫实例2-多线程爬虫抓取糗事百科数据
- 通过实例快速掌握sklearn中的kmeans聚类----python数据分析,聚类,pandas
- python爬虫从入门到放弃(九)之 实例爬取上海高级人民法院网开庭公告数据
- Python数据分析中Groupby用法之通过字典或Series进行分组的实例
- [Python爬虫] 之二十:Selenium +phantomjs 利用 pyquery通过搜狗搜索引擎数据
- 利用Python在一个文件的头部插入数据的实例
- Python爬虫----实例: 抓取百度百科Python词条相关1000个页面数据
- Python网络爬虫与信息提取-Day14-(实例)股票数据定向爬虫
- Python爬虫_城市公交、地铁站点和线路数据采集实例
- Python爬虫实例_城市公交网络站点数据的爬取方法
- 通过爬取天猫商品评论实例分析Python爬取ajax动态生成的数据
- python爬虫+R数据可视化 实例
- python3.4学习笔记(十四) 网络爬虫实例代码,抓取新浪爱彩双色球开奖数据实例
- python爬虫"Hello World"级入门实例(二),使用json从中国天气网抓取数据
- Python3,通过re模块中的sub()和findall()2个方法提升爬虫提取数据的效率
- python爬虫案例——csdn数据采集
- 通过数据链接(Database Link),从Oracle 9i 连接 SQL Server 2000(实例)
- Python爬虫的简单入门及实用的实例(1)
- Python爬虫实现数据可视化,为你做一个城市旅游数据分析