hive 自动加载数据多分区目录
2017-09-28 16:51
1356 查看
在使用hive建表加载数据时,如果是一个分区,那么用alter table mytable ADD IF NOT EXISTS PARTITION(p1='p1') location 'hdfs://xxx' 或者直接用msck repair table mytable都可以将指定目录的数据加载到分区
但是对于多级目录来说,比如
/data/year=/month=/day=/source1/abc.log
/data/year=/month=/day=/source2/def.log
这种结构,如果创建表的时候分区为year,month,day,那么 可以用add partition 方式是可以加载数据到指定分区,但是msck会报错,主要原因是msck必须要目录结构满足:
/partition_name=partition_value/
且不能包含特殊字符
当多级目录时,这时候会有/特殊字符,那么可设置hive.msck.path.validation为skip或者ignore 就可以了
set hive.msck.path.validation = ignore
但是对于多级目录来说,比如
/data/year=/month=/day=/source1/abc.log
/data/year=/month=/day=/source2/def.log
这种结构,如果创建表的时候分区为year,month,day,那么 可以用add partition 方式是可以加载数据到指定分区,但是msck会报错,主要原因是msck必须要目录结构满足:
/partition_name=partition_value/
且不能包含特殊字符
当多级目录时,这时候会有/特殊字符,那么可设置hive.msck.path.validation为skip或者ignore 就可以了
set hive.msck.path.validation = ignore
相关文章推荐
- [置顶] hive 动态加载数据到指定分区,以及其他hive使用的技巧
- hive分区分桶操作及加载数据
- Hive 修改表添加分区(add partition)和 加载数据时添加分区 的区别
- Hive 笔记之 创建外部分区表并加载数据
- hive从查询中获取数据插入到表或动态分区
- hive创建表格以及加载数据
- ListBox 滑动到底部自动加载数据
- Android 实现ListView滚动到底部自动加载数据
- recycleview上拉自动加载数据
- 页面滚动至底部自动加载数据完整版
- hive原生和复合类型的数据加载和使用
- JPA hibernate spring repository pgsql java 工程(三):数据表分区与自动创建:策略
- 页面滚动动态加载数据,页面下拉自动加载内容
- Hive 视图 索引 动态分区装载数据
- form自动加载数据
- 如何在smarty中增加类似foreach的功能自动加载数据
- 页面滚动动态加载数据,页面下拉自动加载内容
- C# 利用FTP自动下载xml文件后利用 FileSystemWatcher 监控目录下文件变化并自动更新数据库
- 如何每日增量加载数据到Hive分区表
- Android数据分批加载-滑动到底部自动加载列表