小猪的Python学习之旅 —— 10.三分钟上手Requests库

小猪的Python学习之旅 —— 10.三分钟上手Requests库

标签：Python

一句话概括本文：

本节讲解Requests库的常见使用，以及一个实战项目：

扒取某一篇微信文章里所有的图片，视频，音频

尤其在扒取视频和音频的时候思考非常好玩～

配图：给凉了的大A站上香：



引言：

刚学爬虫没多久的时候就知道requests这个HTTP库了，不过

因为自己觉得学习新的库需要一定的时间成本，而且自带的

urllib写写小爬虫够用，就没去深入学，在写上一节的

时候评论有人就提到了requests，除了那个Referer的坑

外，在使用urllib的时候就遇到一些很繁琐的东西了，

举几个例子：

发送Get和Post请求

Cookie处理

设置代理

还有一点urllib默认不支持压缩，要返回压缩格式，必须在

请求头里写明 accept-encoding，然后获取返回数据时要在

响应头里是否有accept-encoding以此判断是否需要解码，

非常繁琐…

当然你可以自己对urllib进行一些常用的封装，以此规避此类

问题。恰逢前几天，看到我妹蹲在电脑前在呆呆地重复做些

什么事情，好奇的问了下她：



我妹：

保存微信文章里的图片，音频，视频啊，写公司的文章要用到。

我：这么呆？？？



是的，她就这样重复每一篇文章：

右键图片保存，视频打开chrome f12找到flash里的视频链接，

然后再发到http://v.ranks.xin/解析，得到下载的url，再进行下载

　

作为技术宅的欧尼酱，肯定要写个小脚本来帮她脱离这种

重复性的劳动，作为交换条件，她需要打扫一周卫生。



所以就有了这个实战例子～

(PS：某宝上有这样的工具，竟然卖10块钱，还有人买，2333)

1.Requests简介

(本节只讲述常用的姿势，更多内容可到官方文档中翻阅～)

作者：Kenneth Reitz

Gayhub地址：https://github.com/kennethreitz

官方仓库：https://github.com/requests/requests/

官方文档：http://www.python-requests.org/en/master/

Feature Support：

International Domains and URLs —— 国际化域名和URL

Keep-Alive & Connection Pooling —— Keep-Alive & 连接池

Sessions with Cookie Persistence —— 带持久Cookie的会话

Browser-style SSL Verification —— 浏览器式的SSL认证

Basic/Digest Authentication —— 基本/摘要式的身份认证

Elegant Key/Value Cookies —— 优雅的 key/value Cookie

Automatic Decompression —— 自动解压

Automatic Content Decoding —— 自动内容解码

Unicode Response Bodies —— Unicode响应体

Multipart File Uploads —— 文件分块上传

HTTP(S) Proxy Support —— HTTP(S)代理支持

Connection Timeouts —— 连接超时

Streaming Downloads —— 流下载

.netrc Support —— 支持.netrc

Chunked Requests —— Chunked请求

有些听都听不懂，感觉很牛逼的样子，不方，跟着小猪撸一遍就好~

先通过 pip install request 安装一波库，然后就可以开始玩了！

2.三分钟上手requests

# 1.支持各种请求方式：GET,POST,PUT,DELETE,HEAD,OPTION
r1 = requests.get("http://xxx", params={"x": 1, "y": 2})
r2 = requests.post("http://xxx", data={"x": 1, "y": 2})
r3 = requests.put("http://xxx")
r4 = requests.delete("http://xxx")
r5 = requests.head("http://xxx")
r6 = requests.options("http://xxx")

注意：

URL链接里有中文会自动转码

post时如果传递的是一个str而不是一个dict，会直接发送出去！(比如json字符串)

2.4.2版新增：可以通过

json

参数传递dict，自动会把dict转换为json字符串！

post上传文件可以通过

file

参数，如post(url, files={‘file’: open(‘report.xls’, ‘rb’)})

请求的相关设置：

请求头：

headers

={‘xxx’:’yyy’}

代理：

proxies

={‘https’:’xxx’}

超时(单位秒)：

timeout

=15

处理返回结果

注：由requests发起的请求，当相应内容经过gzip或deflate压缩时，

requests会自动解包，可以获得通过content获得byte方式的响应结果。

status_code

：获取状态码

reason

：状态信息

url

：获取请求的url

content

： 获取byte类型的返回结果，相当于urllib.urlopen().read；

raw

：获得原始的返回结果，请求里需要设置

stream=True

；

text

：获取str类型的返回结果，会自动根据响应头部的字符编码进行解码；

可以调用r.

encoding

获得编码方式，或者在调text之前先r.encoding=’编码’

设置编码类型，text就会按照对应的编码进行解析；

json

：解析序列化为JSON格式的数据，直接就可以[‘xxx’]拿数据了，

如果解析错误会抛出异常：ValueError: No JSON object could be decoded

除此之外还可以调用headers获得响应头比如：

r = requests.get('http://gank.io/api/data/福利/50/1')
# 直接根据键获得值
print(r.headers.get('Date'))
# 遍历获得请求头里所有键值
for key, value in r.headers.items():
print(key + " : " + value)

如果是想获取请求头信息的话：调用r.

request.headers

就可以获取了。

除此之外还有

raise_for_status()

，当响应码不是200的时候，会抛出

HTTPError异常，可用于响应码校验；

Cookie：

通过r.

cookies

即可获得RequestsCookieJar对象，行为与字典类似；

如果想带着cookies去访问，可以在请求里添加

cookies=

{‘xxx’:’yyy’}参数；

也可以通过requests.cookies.RequestsCookieJar()调用set方法进行构造，

比如：jar.set(‘gross_cookie’, ‘blech’, domain=’httpbin.org’, path=’/elsewhere’)，可以调用下述方法遍历cookies：

for c in r.cookies:
print(c.name + ":" + c.value)

附：CookieJar与字典间的互转

# 字典 -> CookieJar
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)

# CookieJar-> 字典
cookies = requests.utils.dict_from_cookiejar(r.cookies)

重定向与请求历史：

除了HEAD请求，Requests会自动处理所有重定向，可以在执行请求的时候

使用

allow_redirects=False

禁止重定向，可以调用

history

函数追踪请求

历史，一个Response对象的列表，按照最老到最近的请求进行排序。

错误与异常：

注：Requests 显式抛出 的异常都继承自requests.exceptions.RequestException

1.遇到网络问题，会抛出

ConnectionError

异常

2.请求超时，会抛出

Timeout

异常

3.请求超过了设定的最大重定向次数，会抛出

TooManyRedirects

异常

Session会话对象：

用于跨请求保持一些参数，最常见的就是保留cookies，

Session对象还提供了Cookie持久化和连接池功能，

s = request.Session() # 建立会话
s.post('http://xxx.login',data={'xx':'xx'}) # 登录网址
s.get('http://xxx.user') # 登录后才能访问的网址
s.close() # 关闭会话

3.Requests实战：抓取微信文章的图片与视频

推理分析环节：

随手打开一个微信链接：http://mp.weixin.qq.com/s/JHioeDcopm-98R5lGVemqw

1.标题　拿来做文件夹名字，很好拿，直接title标签



2.获取图片：不难发现图片的标签是这样的



可以通过下面这段代码拿到：



然后呢，图片可能是PNG，JPEG或者GIF，观察data-src可以看到：

尾部有个wx_fmt=jpeg，split[‘=’][-1]就能拿到文件格式，图片名的

话：url.split(“/”)[-2]，就有了这样一段下载图片的代码：



3.获取音频：

这个就需要取巧了，直接看网页结构的话：



src里的链接粘贴赋值是不能打开的，这个mpvoice貌似是采用的是

js渲染模块方案，安卓狗表示不知道是什么，有兴趣的可以看下这篇

文章：http://m.dian321.com/keji/1174796.html

感觉一时半伙也找不出规则，要不走一波手机抓包？



啧啧，原来就这么简单，所有只需要拿到mediaid就可以啦，

而刚好就是voice_encode_fileid属性，然后音频名就直接用

时间戳.mp3的格式来命名把，所以有了下面两段代码：





4.获取视频：

这个就不好搞了，内嵌在iframe里，貌似是一个flash播放器



复制了下url，网页重新打开：



同样是拿不到，手机抓一波包？



看到vkey这么长，猜都猜到是加密后的东西了，要去推敲不知

得花到何年何月了，有没有什么取巧的办法呢？对了，差点忘

了我妹用的那个视频链接获取网站 http://v.ranks.xin/了



贴视频地址，然后解析视频，就可以得到可下载的视频超链接了，

把前面那个src的链接贴下，清下chrome解析那里，然后准备抓包，

点下解析后，可以看到发出了一个这样的请求：



点开，咦，这不是上一节我们刚了解的Ajax动态加载技术吗？



一点不方，还有点鸡冻，(≧▽≦)/

看下Preview，哟哟，这难道是我们想要的超链接？



复制粘贴，右键看下能否另存为？



稳如狗，接着就来一波解析，还有下载视频的代码咯：





核心的东西就这些啦，接着就简单了，写一个无限While循环，

然后获取用户的输入，然后输入Q直接exit()就可以了～



随手试两篇文章，运行结果：



可以，很Gay，都抓到了，美滋滋～

另外如果出现Max retries exceeded with url这样的异常，可能就是

你的requests库太旧了，可以走一波：pip install –upgrade requests

进行升级。

4.使用pyinstaller生成exe文件

脚本是有了，你也不可能在我妹电脑上装个Python环境吧？

可以通过pyinstaller来生成一波exe文件，然后就可以在我

妹的渣渣win本上运行了。

键入：pip install pyinstaller，安装pyinstaller

新建一个文件夹，然后把我们的脚本拷进去，我们还可以弄个应用图标：



接着命令行走一波：

pyinstaller -F -i wechat.ico CatchWeChatRes.py

执行成功后能看到文件夹下多了几个文件：



如果正常生成了exe文件的话，是可以在dist目录下找到的。



双击执行，贴个文章的url：



成功下载到本地，没毛病~



Tips：

-i 是可选参数，代表有错误也继续执行

-w 如果不需要命令行，可以加上-w

编译中途出现过这个错误：



执行不了脚本，后来发现是手多在文件里import了无关模块，删掉就可以了；

5.小结

本来昨天就应该写完了，因为公司搬家的原因，还有因为太冷

起不了床的原因，拖到下午才补完，尴尬~



后面会学Python里自带的图形化模块Tkinter，到时再拼凑一个

简单的图形化界面界面吧~

本节源码下载

https://github.com/coder-pig/ReptileSomething

来啊，Py交易啊

欢迎各种像我一样的Py初学者，或者Py大神加入，

一起愉快地交流学♂习：



因为微信群二维码隔一段时间就过期了，如果二维码过期可加我，

我拉你进群，懒得换二维码了~