Linux 命令行工具解析和格式化输出 JSON的方法
JSON 是一种轻量级且与语言无关的数据存储格式,易于与大多数编程语言集成,也易于人类理解 ―― 当然,如果格式正确的话。JSON 这个词代表 J ava S cript O bject N otation,虽然它以 JavaScript 开头,而且主要用于在服务器和浏览器之间交换数据,但现在正在用于许多领域,包括嵌入式系统。在这里,我们将使用 Linux 上的命令行工具解析并格式化打印 JSON。它对于在 shell 脚本中处理大型 JSON 数据或在 shell 脚本中处理 JSON 数据非常有用。
什么是格式化输出?
JSON 数据的结构更具人性化。但是在大多数情况下,JSON 数据会存储在一行中,甚至没有行结束字符。
显然,这对于手动阅读和编辑不太方便。
这是 格式化输出 pretty print 就很有用。这个该名称不言自明:重新格式化 JSON 文本,使人们读起来更清晰。这被称为 JSON 格式化输出 。
用 Linux 命令行工具解析和格式化输出 JSON
可以使用命令行文本处理器解析 JSON 数据,例如 awk 、 sed 和 gerp 。实际上 JSON.awk 是一个来做这个的 awk 脚本。但是,也有一些专用工具可用于同一目的。
- jq 或 jshon ,shell 下的 JSON 解析器,它们都非常有用。
- Shell 脚本,如 JSON.sh 或 jsonv.sh ,用于在 bash、zsh 或 dash shell 中解析JSON。
- JSON.awk ,JSON 解析器 awk 脚本。
- 像 json.tool 这样的 Python 模块。
- undercore-cli ,基于 Node.js 和 javascript。
在本教程中,我只关注 jq ,这是一个 shell 下的非常强大的 JSON 解析器,具有高级过滤和脚本编程功能。
JSON 格式化输出
JSON 数据可能放在一行上使人难以解读,因此为了使其具有一定的可读性,JSON 格式化输出就可用于此目的的。
示例:来自 jsonip.com 的数据,使用 curl 或 wget 工具获得 JSON 格式的外部 IP 地址,如下所示。
$ wget -cq http://jsonip.com/ -O -
实际数据看起来类似这样:
{"ip":"111.222.333.444","about":"/about","Pro!":http://getjsonip.com}
现在使用 jq 格式化输出它:
$ wget -cq http://jsonip.com/ -O - | jq '.'
通过 jq 过滤了该结果之后,它应该看起来类似这样:
{ "ip": "111.222.333.444", "about": "/about", "Pro!": "http://getjsonip.com" }
同样也可以通过 Python json.tool
模块做到。示例如下:
$ cat anything.json | python -m json.tool
这种基于 Python 的解决方案对于大多数用户来说应该没问题,但是如果没有预安装或无法安装 Python 则不行,比如在嵌入式系统上。
然而, json.tool Python 模块具有明显的优势,它是跨平台的。因此,你可以在 Windows、Linux 或 Mac OS 上无缝使用它。
如何用 jq 解析 JSON
首先,你需要安装 jq ,它已被大多数 GNU/Linux 发行版选中,并使用各自的软件包安装程序命令进行安装。
在 Arch Linux 上:
$ sudo pacman -S jq
在Debian、Ubuntu、Linux Mint 上:
$ sudo apt-get install jq
在 Fedora 上:
$ sudo dnf install jq
在 openSUSE 上:
$ sudo zypper install jq
对于其它操作系统或平台参见 官方的安装指导 。
jq 的基本过滤和标识符功能
jq 可以从 STDIN 或文件中读取 JSON 数据。你可以根据情况使用。
单个符号 . 是最基本的过滤器。这些过滤器也称为 对象标识符-索引 。 jq 使用单个 . 过滤器基本上相当将输入的 JSON 文件格式化输出。
- 单引号 :不必始终使用单引号。但是如果你在一行中组合几个过滤器,那么你必须使用它们。
- 双引号 :你必须用两个双引号括起任何特殊字符,如 @ 、 # 、 $ ,例如 jq .foo.”@bar” 。
- 原始数据打印 :不管出于任何原因,如果你只需要最终解析的数据(不包含在双引号内),请使用带有 -r 标志的 jq 命令,如下所示: jq -r .foo.bar 。
解析特定数据
要过滤出 JSON 的特定部分,你需要了解格式化输出的 JSON 文件的数据层次结构。
来自维基百科的 JSON 数据示例:
{ "firstName": "John", "lastName": "Smith", "age": 25, "address": { "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postalCode": "10021" }, "phoneNumber": [ { "type": "home", "number": "212 555-1234" }, { "type": "fax", "number": "646 555-4567" } ], "gender": { "type": "male" } }
我将在本教程中将此 JSON 数据用作示例,将其保存为 sample.json 。
假设我想从 sample.json 文件中过滤出地址。所以命令应该是这样的:
$ jq .address sample.json
示例输出:
{ "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postalCode": "10021" }
再次,我想要邮政编码,然后我要添加另一个 对象标识符-索引 ,即另一个过滤器。
$ cat sample.json | jq .address.postalCode
另请注意, 过滤器区分大小写 ,并且你必须使用完全相同的字符串来获取有意义的输出,否则就是 null。
从 JSON 数组中解析元素
JSON 数组的元素包含在方括号内,这无疑是非常通用的。
要解析数组中的元素,你必须使用 [] 标识符以及其他对象标识符索引。
在此示例 JSON 数据中,电话号码存储在数组中,要从此数组中获取所有内容,你只需使用括号,像这个示例:
$ jq .phoneNumber[] sample.json
假设你只想要数组的第一个元素,然后使用从 0 开始的数组对象编号,对于第一个项目,使用 [0] ,对于下一个项目,它应该每步增加 1。
$ jq .phoneNumber[0] sample.json
脚本编程示例
假设我只想要家庭电话,而不是整个 JSON 数组数据。这就是用 jq 命令脚本编写的方便之处。
$ cat sample.json | jq -r '.phoneNumber[] | select(.type == "home") | .number'
首先,我将一个过滤器的结果传递给另一个,然后使用 select 属性选择特定类型的数据,再次将结果传递给另一个过滤器。
解释每种类型的 jq 过滤器和脚本编程超出了本教程的范围和目的。强烈建议你阅读 jq 手册,以便更好地理解下面的内容。
资源:
https://stedolan.github.io/jq/manual/
http://www.compciv.org/recipes/cli/jq-for-parsing-json/
https://lzone.de/cheat-sheet/jq
via: https://www.ostechnix.com/how-to-parse-and-pretty-print-json-with-linux-commandline-tools/
总结
以上所述是小编给大家介绍的Linux 命令行工具解析和格式化输出 JSON的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
您可能感兴趣的文章:
- 如何用 Linux 命令行工具解析和格式化输出 JSON
- [c++,linux] 接收可变参数并将其格式化输出的方法实现
- linux vmstat输出方法解析
- Linux下date命令,格式化输出,时间设置方法
- Linux服务器的系统内存监控方法详细解析
- GridView控件常见问题及处理方法===1. 关于隐藏字段的处理:==2. 关于按钮列的事件:==3. 关于按钮的客户端提示:==4. 关于时间字段的格式化输出:==5. 关于绑定空记录:
- linux 格式化输出输入函数
- 将命令行工具的屏幕输出重定向到一个文件的方法
- C语言程序设计-现代方法----示例及练习题----第三章--格式化输入输出
- Jquery.ajax报parseerror Invalid JSON错误的原因和解决方法:不能解析
- linux 程序运行到后台,控制台输出到文件,并能日志切割的方法
- Linux服务器的系统内存监控方法详细解析
- Linux操作系统的内存使用方法详细解析
- (14)Linux_C_格式化输人输出函数
- xslt格式化输出xml文件的三种方法(转)
- Linux C 格式化输出时要注意的问题
- linux磁盘空间不足 和 挂载新硬盘(含磁盘格式化、分区)方法
- 用jquery解析JSON数据的方法
- Mysql中的数据用 json_decode 解析返回null的一则处理方法
- [转载,并且格式化页面]Linux守护进程的编程方法