Python爬虫:将headers请求头字符串转为字典的方法
2019-08-21 16:22
3719 查看
原生请求头字符串
raw_headers = """Host: open.tool.hexun.com Pragma: no-cache Cache-Control: no-cache User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36 Accept: */* Referer: http://stock.hexun.com/gsxw/ Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.9,en;q=0.8"""
将字符串转为字典
split(sep=None, maxsplit=None) headers = dict([line.split(": ",1) for line in raw_headers.split("\n")])
输出测试
print(headers) """ { 'Accept-Language': ' zh-CN,zh;q=0.9,en;q=0.8', 'Accept-Encoding': ' gzip, deflate', 'Accept': ' */*', 'User-Agent': ' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36', 'Host': ' open.tool.hexun.com', 'Referer': ' http://stock.hexun.com/gsxw/', 'Pragma': ' no-cache', 'Cache-Control': ' no-cache' } """
封装为函数
def get_headers(header_raw): """ 通过原生请求头获取请求头字典 :param header_raw: {str} 浏览器请求头 :return: {dict} headers """ return dict(line.split(": ", 1) for line in header_raw.split("\n")) def get_cookies(cookie_raw): """ 通过原生cookie获取cookie字段 :param cookie_raw: {str} 浏览器原始cookie :return: {dict} cookies """ return dict(line.split("=", 1) for line in cookie_raw.split("; "))
以上这篇Python爬虫:将headers请求头字符串转为字典的方法就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- python关于列表转为字典的两个小方法
- python判断变量是否为int、字符串、列表、元组、字典等方法
- Python中用eval将字符串转换为字典时候出错:NameError: name ‘null’ is not defined的解决方法
- 2018-07-22-14-Python如何将字符串转为字典
- python 列表转为字典的两个小方法
- python爬虫headers设置后无效的解决方法
- python列表转为字典的两个小方法
- python关于列表转为字典的两个小方法
- python用reduce和map把字符串转为数字的方法
- Python字符串、元组、列表、字典互相转换的方法
- Python3-读取数据并转为dict list字典列表的方法
- Python学习之---集合,元组,列表,字符串,字典 ---组合数据类型---使用方法
- python中for循环把字符串或者字典添加到列表的方法
- Python中将字符串类型转为字典类型(string to dict)
- Python 字典<->元组<->列表<->字符串 互转方法
- Python中实现字符串类型与字典类型相互转换的方法
- python实现字典(dict)和字符串(string)的相互转换方法
- python用reduce和map把字符串转为数字的方法
- python笔记4 - 索引,切片,字符编码转换函数,字符串的属性方法,字符串格式化表达式,占位符,基于字典的字符串格式化,循环语句
- Python字符串、元组、列表、字典互相转换的方法