hive解释json格式成表及查询
2020-06-07 05:39
260 查看
在hive中对于json的数据格式,可以使用get_json_object或json_tuple先解析然后查询。
(转自:https://blog.csdn.net/li_canhui/article/details/85257859)
(1)在Hive表中,如果某个字段是json类型,那么我们可以使用json函数来提取里面的值,具体的语法为
[code]get_json_object(column_name, '$.key_name')
(2)如果是多层嵌套的json结构,那么语法如下
[code]get_json_object(column_name, '$.first_level_key_name.second_level_key_name')
也可以直接在hive中创建json格式的表结构,这样就可以直接查询,实战如下(hive-2.3.0版本):
(转自:https://www.cnblogs.com/30go/p/8318542.html)
1. 准备数据源
将以下内容保存为test.txt
[code]{"student":{"name":"king","age":11,"sex":"M"},"class":{"book":"语文","level":2,"score":80},"teacher":{"name":"t1","class":"语文"}} {"student":{"name":"wang","age":12,"sex":"M"},"class":{"book":"语文","level":2,"score":80},"teacher":{"name":"t1","class":"语文"}} {"student":{"name":"test","age":13,"sex":"M"},"class":{"book":"语文","level":2,"score":80},"teacher":{"name":"t1","class":"语文"}} {"student":{"name":"test2","age":14,"sex":"M"},"class":{"book":"语文","level":2,"score":80},"teacher":{"name":"t1","class":"语文"}} {"student":{"name":"test3","age":15,"sex":"M"},"class":{"book":"语文","level":2,"score":80},"teacher":{"name":"t1","class":"语文"}} {"student":{"name":"test4","age":16,"sex":"M"},"class":{"book":"语文","level":2,"score":80},"teacher":{"name":"t1","class":"语文"}}
2. 创建hive表
首先需要引入json的hive解析包。
我使用的是cdh5.13.3,在这里下载了hive-hcatalog-core的包
hive-hcatalog-core下载地址
hive里是使用命令添加jar包
[code]add jar hdfs:///user/hive/jars/json-serde-1.3.8-jar-with-dependencies.jar;
添加了之后便可根据json的内容建表了
注意serde格式大小写不能写错: org.apache.hive.hcatalog.data.JsonSerDe
[code]create external table if not exists dw_stg.student( student map<string,string> comment "学生信息", class map<string,string> comment "课程信息", teacher map<string,string> comment "授课老师信息" ) comment "学生课程信息" row format serde 'org.apache.hive.hcatalog.data.JsonSerDe' stored as textfile;
3. 上传数据
将test.txt上传到刚才创建的student目录
[code]hdfs dfs -put test.txt /user/hive/warehouse/dw_stg.db/student/
4. 使用hql查询
查询所有信息记录:
查询字段student信息
查询字段class信息
查询学生姓名为test4的所有记录
取json串中某个值可以使用 student['name'] ,如下:
[code]select student['name'] as stuName, class['book'] as cls_book, class['score'] as cls_score, teacher['name'] as tech_name from student where student['name'] = 'test4';
总体看起来,比使用get_json_object或json_tuple解析方便多了。
相关文章推荐
- 解释:eval()中包含JSON格式的对象字面量时为何要加圆括号?
- 统计:后台通过查询数据表(该表存放统计的sql语句)返回规定格式的json数据
- Hive处理json格式数据
- Hive文件存储格式(TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比)
- Json格式解释
- Hive中存储json格式的数据
- asp.net mvc linq to entity 查询指定列的数据以json字符串格式返回数据
- hive 查询结果转为parquet格式 存入hdfs中
- Json格式解释
- java实现类似ztree的json格式查询
- 将查询出来的数据集转化成JSON格式的类
- PHP面向对象之将数据库的查询结果序列化成json格式
- Hibernate数据查询结果转json格式
- Json格式解释
- php查询mysql中的数据,并将结果返回为JSON格式,提取JSON中的数据,写入页面不同的id号中
- JSON格式注册登录查询byHttpClientDoPost
- Android连接服务器数据库查询+Gson解析(List和Map)格式json数据(一)
- Json格式解释
- Hive提取Json字段(字符串格式)
- 将查询出来的数据集转化成JSON格式的类