hive json数据生成和处理

场景：查询结果封装成json格式

实现：封装记录为json格式可以编写自定义函数，也可以直接使用concat函数直接拼接，下面直接使用concat函数拼接实现将数据行转化为json数据

select concat('{\"id\":\"',

              t.id,

              '\",\"index_date\":\"',

              NVL(t.index_date, ''),

              '\",\"index_name\":\"',

              NVL(t.index_name, ''),

              '\",\"index_value\":\"',

              NVL(t.index_value, ''),

              '\"}') as value

  from tbl_test t

注意：concat函数在连接元素时，需要注意如某一个元素为空时，concat函数直接返回null，所以需要对null元素做特殊处理，这里是将null转为空字符串。

hive 有直接解析 json 数据的函数 get_json_object(stringjson_string, string path)

将上述json数据封装完成后，我们存入表 tbl_test_json，插入字段 json_line 中

使用get_json_object函数解析该json数据：

select get_json_object(t.json_line, '$.id'),

           get_json_object(t.json_line, '$.index_date'),

           get_json_object(t.json_line, '$.index_name'),

           get_json_object(t.json_line, '$.index_value')

  from tbl_test_json t;

PS：get_json_object使用说明：

A limited version of JSONPath is supported:
$ : Root object
. : Child operator
[] : Subscript operator for array
* : Wildcard for []

Syntax not supported that's worth noticing:
  : Zero length string as key
.. : Recursive descent
@ : Current object/element
() : Script expression
?() : Filter (script) expression.
[,] : Union operator

   [start:end.step] : array slice operator

   

Example: src_json table is a single column (json), single row table:

+----+ json +----+

{"store":

  {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],

   "bicycle":{"price":19.95,"color":"red"}

  },

 "email":"amy@only_for_json_udf_test.net",

 "owner":"amy"

}

+----+

The fields of the json object can be extracted using these queries:

hive> SELECT get_json_object(src_json.json, '$.owner') FROM src_json;

amy

 

hive> SELECT get_json_object(src_json.json, '$.store.fruit\[0]') FROM src_json;

{"weight":8,"type":"apple"}

 

hive> SELECT get_json_object(src_json.json, '$.non_exist_key') FROM src_json;

NULL