一个SQLServer中JSON文档型数据的查询问题
2021-06-26 15:12
966 查看
近日在项目中遇到一个问题: 如何在报表中统计JSON格式存储的数据?
例如有个调查问卷记录表,记录每个问题的答案。 其结构示意如下(横表设计)
Id | user | date | Q1_Answer | Q2_Answer | Q3_Answer |
行Id | 答题用户 | 答题日期 | 问题一结果 | 问题二结果 | 问题三结果 |
在[Q1_Answer]、[Q2_Answer]、[Q3_Answer]中记录的数据格式是JSON文档内容,因为是选项值,而且考虑到可能有多选, 所以存储的格式如下:
1 [
{"code":"a", "desc":"Jan."},
{"code":"b", "desc":"Feb."}
]
其中 code 表示选项, desc 表示选项的文字描述。
现在,用户想用PowerBI 来实现对结果的统计。有如下几个问题:
- 在Power BI中,无法直接从JSON数据中读取到选项值
- 如果是多选,又该如何处理。
比较适合分析的数据结构应该长这样:
行Id | 答题用户 | 答题日期 | 问题编号 | 用户选项 | 选项文字 |
1 | user1 | 2021-6-26 | Q1 | A | Jan. |
2 | user1 | 2021-6-26 | Q2 | A | Mon. |
3 | user1 | 2021-6-26 | Q2 | B | Tue. |
4 | user1 | 2021-6-26 | Q3 | A | Swimming |
6 | user2 | 2021-6-26 | Q1 | B | Feb. |
7 | user2 | 2021-6-26 | Q2 | ... | ... |
注意,上述Q2用户填了2个选项。 本身问卷设定就是支持多选的。 用JSON文档结构保存数据, 主要是为了方便采集和数据存取。因此要额外做些数据处理, 使采集的数据便于统计。
笔者经过一些调查, 发现可以结合使用UNPIVOT和OPENJSON方法来达到理想的效果。 具体过程如下:
准备表格和初始化数据
-- 1 create table Create Table T_Questionaire(id int identity(1,1) primary key, username varchar(100), t1 nvarchar(500),t2 nvarchar(500),t3 nvarchar(500), dt datetime) -- 2 init data Insert into T_Questionaire( username, t1, t2, t3, dt) values ('John' , '[{"code":"a", "desc":"Monday"}]', '[{"code":"a", "desc":"Jan."}]', '[{"code":"b", "desc":"2021"}]' ,getdate()) , ('Alice' , '[{"code":"b", "desc":"Tuesday"}]', '[{"code":"a", "desc":"Jan."}, {"code":"b", "desc":"Feb."}]', '[{"code":"a", "desc":"2020"},{"code":"b", "desc":"2021"}]' ,getdate())
数据内容:
创建转换视图:
Create or alter view V_VerticalQuestionaire as with pt as ( select a.username, a.T, a.answers, a.dt from dbo.T_Questionaire a unpivot ( answer 1760 s for T in (t1,t2,t3 )) a) select pt.username, pt.dt, pt.T , aw.code, aw.[desc] from pt cross apply openjson(answers) WITH (code NVARCHAR(100) '$.code', [desc] NVARCHAR(100) '$.desc') aw
查询结果如下:
总结下解决的思路:
1 先用unpivot将列行转换, 使横表记录变成纵表记录
2 使用openjson 将json数据转换为集合数据, 然后使用cross apply 将集合展开
相关文章推荐
- postgresql json查询出来的数据多出来一个双引号的问题
- 腾讯云图片鉴黄集成到C# SQL Server 怎么在分页获取数据的同时获取到总记录数 sqlserver 操作数据表语句模板 .NET MVC后台发送post请求 百度api查询多个地址的经纬度的问题 try{}里有一个 return 语句,那么紧跟在这个 try 后的 finally {}里的 code 会 不会被执行,什么时候被执行,在 return 前还是后? js获取某个日期
- sqlserver 根据一个泛型id查询数据,批量删除数据
- FastJson处理json数据时遇到一个问题
- <项目一>请教一个关于获取post json数据的问题
- SQLServer查询数据后,插入表中时去重问题
- 关于springboot jackson返回json数据注解@JsonSerialize的一个小问题
- Hibernate查询数据映射enum的一个问题
- 一个WMI模糊查询引发的数据丢失问题
- ajax与java前后台传值及数据表查询解决一个bug的问题
- 关于myBatis与SQLserver 配合使用,查询类型为Date的数据时,日期会减少两天的问题
- SqlServer 将查询出的多行数据拼成一个字符串返回
- SqlServer 将查询出的多行数据拼成一个字符串返回
- SQLSERVER 占了500多M内存,原来的程序无法一次查询出50多W数据了,记录下这个问题的解决过程。
- sqlserver 使用excle导入数据后查询出来成了org.hibernate.lob.serializablecolb@ff87db的问题。
- 中时间数据查询需要注意的一个小问题
- 使用Oracle11g的闪回查询技术解决了一个误DELETE表数据的问题
- 使用net.sf.json包生成一个pojo的json数据出现的问题
- SqlServer 如何将查询出的多行数据拼成一个字符串返回
- sql查询模糊匹配Like的没数据一个问题