比urllib更为强大的requests的一些使用技巧

coding = utf-8

import requests

import re

”’

那么GET请求，如果要附加额外的信息一般是怎样来添加？没错，那就是直接当做参数添

加到url后面。

比如现在我想添加两个参数，名字name是germey，年龄age是22。构造这个请求链接是不

是我们要直接写成r = requests.get(“http://httpbin.org/get?name=germey&age=22“)？

可以是可以，但是不觉得很不人性化吗？一般的这种信息数据我们会用字典{“name”: “ge

rmey”, “age”: 22}来存储，那么怎样来构造这个链接呢？

同样很简单，利用params这个参数就好了。

data = {‘name’:’germey’,’age’:22}

r = requests.get(‘http://httpbin.org/get‘,params=data)

print(r.text)

”’

”’

网页的返回类型实际上是str类型，但是它很特殊，是Json的格式，所以如果我们想直接

把返回结果解析，得到一个字典dict格式的话，可以直接调用json()方法。

r = requests.get(‘http://httpbin.org/get‘)

print(type(r.text))

print(r.json())

print(type(r.json))

”’

”’

如上的请求链接返回的是Json形式的字符串，那么如果我们请求普通的网页，那么肯定

就能获得相应的内容了。

下面我们以知乎－发现页面为例来体验一下：

headers = {‘User-Agent’:’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36’}

r = requests.get(“https://www.zhihu.com/explore“, headers=headers)

pattern = re.compile(‘explore-feed.?question_link.?>(.*?)’, re.S)

titles = re.findall(pattern,r.text)

print(titles)

”’

”’

抓取二进制数据

r = requests.get(‘https://github.com/favicon.ico‘)

with open(‘favicon.ico’,’wb’) as f:

f.write(r.content)

f.close()

在这里用了open()函数，第一个参数是文件名称，第二个参数代表以二进制写的形式打开，

可以向文件里写入二进制数据，然后保存。

运行结束之后，可以发现在文件夹中出现了名为favicon.ico的图标。

同样的，音频、视频文件也可以用这种方法获取。

”’

”’

设置代理：

对于某些网站，在测试的时候请求几次，能正常获取内容。但是一旦开始大规模爬取，对于大规模且频繁的请求，网站可能会直接登录验证，验证码，甚至直接把IP给封禁掉。+

那么为了防止这种情况的发生，我们就需要设置代理来解决这个问题，需要用到proxies这个参数。

用这样的方式设置：

import requests

proxies = {

“http”: “http://10.10.1.10:3128“,

“https”: “http://10.10.1.10:1080“,

}

requests.get(“https://www.taobao.com“, proxies=proxies)

”’

4000