您的位置:首页 > 其它

项目阶段——埋点日志导入hive数仓ODS表层

2020-09-01 10:31 731 查看

json类型的数据如何切分, 写入到hive创建的表中?
有三种方法:
1、建表时, 别分字段, 也不指定分隔符, 在hive里面用json解析函数, 重新select一下
2、用spark程序将json解析成字段,字段,字段,中间用逗号做分隔符
3、不要用hive简单的数据解析器,之前用的按逗号分隔、按分号分隔都是非常简单的解析。可以用json解析器!!将解析json的jar包放到hive的lib目录下就可以了

如何记录用户的设备id?或者说设备id怎么来的?
埋点代码如果取到了mac地址,就用mac地址;取不到mac地址,用它的IMEI码;取不到IMEI码,用它的安卓id;安卓id还取不到,则自己生成一个码。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: