爬虫-requests模块的使用

相比于urllib模块，requests模块使用起来更简洁方便。requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。requests的底层实现其实就是urllib3。

一、安装

sudo pip3 install requests

二、基本GET请求（headers参数和params参数）

• 最基本的GET请求可以直接使用get方法

  import requests
  
  response = requests.get("https://www.baidu.com/")
  
  # 也可以写成
  # response = requests.request("get", "https://www.baidu.com/")

• 添加headers和查询参数

　　如果想添加headers，可以传入

headers

params

• import requests
  
  kw = {'wd':'长城'}
  
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
  
  # params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
  response = requests.get("http://www.baidu.com/s", params = kw, headers = headers)
  
  # 查看响应内容，response.text 返回的是Unicode格式的数据
  print(response.text)
  
  # 查看响应内容，response.content返回的字节流数据
  print(respones.content)
  
  # 查看完整url地址
  print(response.url)
  
  # 查看响应头部字符编码
  print(response.encoding)
  
  # 查看响应码
  print(response.status_code)

  使用response.text 时，requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。使用response.content 时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。

三、基本POST请求（data参数）

• 最基本的POST请求，可以直接使用post方法

  import requests
  
  resp = requests.post('https://www.baidu.com/'，data = data)

• 传入data数据，示范一个有道翻译的例子

  import requests
  
  formdata = {
  'i':'I love you',
  "from":'AUTO',
  "to":'AUTO',
  "smartresult":"dict",
  "client":"fanyideskweb",
  "doctype":"json",
  "version":"2.1",
  "keyfrom":"fanyi.web",
  "action":"FY_BY_REALTlME"
  
  }
  
  url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
  
  headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
  
  response = requests.post(url, data = formdata, headers = headers)
  print(response.text)
  
  # 如果是json文件可以直接显示,返回的是dict类型
  print(response.json())

• 发送json类型的数据

2. 利用data参数传递，但是数据需要序列化成Json字符串，同时传入headrs中必须指明‘Content-Type':’application/json‘

   import requests
   import json
   url = 'https://openapi.vmall.com/mcp/offlineshop/getShopList'
   headers = {
   'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
   'Content-Type':'application/json'
   }
   # 将json类型的数据转换成字典类型的数据
   data = {
   "portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20
   }
   
   # 调用json.dumps()方法，将数据以json格式传递
   resp = requests.post(url=url, headers=headers, data=json.dumps(data))
   
   print(resp.text)

3. 利用json参数传递dict类型数据，不需要提前转换成json字符串

   import requests
   
   url = 'https://openapi.vmall.com/mcp/offlineshop/getShopList'
   headers = {
   'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
   }
   json = {"portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20}
   
   # 直接给post方法中的json参数赋值，赋dict类型的数据
   response = requests.post(url=url, headers=headers, json=json)
   print(response.text)

   传入json参数时，会自动将传入的数据进行json序列化，同时headers中设置'Content-Type'为‘application/json’

四、代理（proxies）

如果需要使用代理，你可以为任意请求方法提供 

proxies

import requests

# 根据协议类型，选择不同的代理
proxies = {
"http": "http://12.34.56.79:9527",
"https": "https://12.34.56.79:9527",
}

resp = requests.get("https://www.baidu.com", proxies = proxies)
print(resp.text)

• 私密代理验证（特定格式）

  import requests
  
  # 如果代理需要使用HTTP Basic
  56c
  Auth，可以使用下面这种格式：
  proxy = { "http": "mr_mao_hacker:sffqry9r@61.158.163.130:16816" }
  
  resp = requests.get("http://www.baidu.com", proxies = proxy)
  print(resp.text)

五、Web客户端验证（auth参数）

import requests

#添加 auth = (账户名, 密码)
auth=('test', '123456')

resp = requests.get('http://192.168.199.107', auth = auth)
print(resp.text)

六、Cookies和Session

• Cookies：

  如果一个响应中包含了cookie，那么我们可以利用 cookies参数拿到

  import requests
  
  response = requests.get("http://www.baidu.com/")
  
  #  返回CookieJar对象:
  cookiejar = response.cookies
  
  # 将CookieJar转为字典：
  cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
  
  print(cookiejar)
  
  print(cookiedict)