Python中Json对象处理的jsonpath-rw
2017-05-24 00:13
369 查看
这两天在写一个爬虫,需要从网站返回的json数据提取一些有用的数据。
向url发起请求,返回的是response,在python3中,response.content是二进制bytes类型的,需要用decode()转成unicode的str类型
也就是说处理json对象其实可以和处理dict一样,那就要用到很多中括号,而且取值也只能取单个精确的值。一点都不灵活
用过xpath和css选择器的人当然会觉得这种方法很笨重。
而恰巧json也有类型的选择器:jsonpath
但是需要注意的是,python的库并不是jsonpath(还真有这个库,但是不知如何使用,官方也没有给出python的使用文档),真正在python中可以使用的库是:jsonpath-rw
官方文档:https://pypi.python.org/pypi/jsonpath-rw (更多jsonpath的语法请点击链接)
下面只列下简单常用的基本方法
使用示例
向url发起请求,返回的是response,在python3中,response.content是二进制bytes类型的,需要用decode()转成unicode的str类型
#如果用的requests发的请求 import json response = requests.get(url,headers=self.headers) response = response.content.decode() response = json.loads(response) #转成json对象,在python里也就是dict类型 ----------------------------------------------------------------------------------- #如果用的scrapy.Request发的请求 import json import scrapy response = scrapy.Request(url,headers=self.headers) response = response.text.decode() response = json.loads(response) #转成json对象,在python里也就是dict类型
也就是说处理json对象其实可以和处理dict一样,那就要用到很多中括号,而且取值也只能取单个精确的值。一点都不灵活
用过xpath和css选择器的人当然会觉得这种方法很笨重。
而恰巧json也有类型的选择器:jsonpath
但是需要注意的是,python的库并不是jsonpath(还真有这个库,但是不知如何使用,官方也没有给出python的使用文档),真正在python中可以使用的库是:jsonpath-rw
官方文档:https://pypi.python.org/pypi/jsonpath-rw (更多jsonpath的语法请点击链接)
下面只列下简单常用的基本方法
使用示例
>>> from jsonpath_rw import jsonpath, parse >>> json_obj = {"student":[{"male":176,"female":162},{"male":174,"female":159}]} >>> jsonpath_expr = parse("student[*].male") >>> male = jsonpath_expr.find(json_obj) >>> male #返回的是list,但是不是我们想要的值 [DatumInContext(value=176, path=Fields('male'), context=DatumInContext(value={'male': 176, 'female': 162}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B95109B0>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None)))), DatumInContext(value=174, path=Fields('male'), context=DatumInContext(value={'male': 174, 'female': 159}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B9510588>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None))))] #想要获取值,要用如下方法 >>> [match.value for match in male] [176, 174]
相关文章推荐
- Python中Json对象处理的jsonpath-rw
- Python使用jsonpath-rw模块处理Json对象操作示例
- Python 将类的对象转换成 JSON 详解 - [开发]
- 浅谈js对json_encode(PHP)后的对象处理方法
- 【Util 通用代码】 JSON类 -- JSON对象处理
- JSON转换为JAVA对象及日期格式转换处理
- 异步请求、处理JSON对象
- 处理大量JavaScript对象的好选择:JSON
- JSON对象、数组和处理JSON串的方法
- Python3 处理JSON
- JSON转换为JAVA对象及日期格式转换处理
- jackson处理json对象相关小结
- 处理 python COM中的枚举对象
- [学习记录]js处理json的list对象
- js定义对象或数组直接量时各浏览器对多余逗号的处理(json)
- Json数据转化为数据对象的js处理
- AJAX JSON中日期类型DateTime格式化的序列化自定义对象以及自定义类型参数的问题处理
- js定义对象或数组直接量时各浏览器对多余逗号的处理(json)
- jackson处理json对象相关小结
- jQuery处理JSON对象