分区表无法查询手动put进hdfs的数据问题
2015-12-11 11:52
423 查看
问题描述:hive表查hdfs目录文件有数据,但在hive命令行查分区表查不到数据向hive表对应hdfs中新建目录,put数据后,在hive命令行查询,查不到put进分区的数据,下面记录处理方法:分区既然是HDFS目录,那就可以通过hdfs put命令直接向HDFS添加分区。然而,元存储拥有所有表的元数据,它不会自动识别这些直接被添加到HDFS的分区。Hive提供了命令MSCK REPAIR TABLE tableName;,可以自动地更新元存储来恢复分区。如果基于亚马逊EMR,这个命令是ALTER TABLE tableName RECOVER PARTITIONS;。测试如下:
hadoop fs -mkdir hdfs://yhd-jqhadoop2.int.yihaodian.com:8020/user/hive/warehouse/testtmp.db/denglg/step=4
hive> select * from denglg where step='4';
OK
Time taken: 0.067 seconds
hadoop fs -cp hdfs://yhd-jqhadoop2.int.yihaodian.com:8020/user/hive/warehouse/testtmp.db/denglg/step=3/000000_0 hdfs://yhd- jqhadoop2.int.yihaodian.com:8020/user/hive/warehouse/testtmp.db/denglg/step=4/000000_0
hive> select * from denglg where step='4';
OK
Time taken: 0.066 seconds
hive> MSCK REPAIR TABLE denglg;
OK
Partitions not in metastore: denglg:step=4
Repair: Added partition to metastore denglg:step=4
Time taken: 0.156 seconds, Fetched: 2 row(s)
hive> select * from denglg where step='4';
OK
111 222 333 4
Time taken: 0.068 seconds, Fetched: 1 row(s)
相关文章推荐
- 使用FUSE挂载HDFS流程及错误集锦
- HBase HDFS目录树
- 大数据测试之初识Hadoop2
- 大数据测试之初识Hadoop1
- HDFS(3)
- HDFS追本溯源:HDFS操作的逻辑流程与源码解析
- HDFS 断点续传,写文件功能
- HDFS(2)
- 从HDFS读入图片并处理
- 整合storm-hdfs过程中源码学习
- 上传本地文件到hdfs
- hdfs的常用命令
- HDFS 上传文件的不平衡,Balancer问题是过慢
- HDFS(1)
- hdfs 机架感知和复制因子的设置
- Avro技术应用_5. 利用 Camus 来将 Avro 数据从 Kafka 拷贝到 HDFS -- 待完善
- 从本地上传到hdfs上出现异常
- HDFS的命令行操作
- hadoop 优化之container
- HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)