关于HIVE的SELECT count(*) 优化
2013-05-17 16:00
246 查看
刚刚下载了一份HIVE的最新源码。
印象最深的是HIVE将表的大小作为了元数据保存在了关系数据库中。
譬如在老版本中执行如下的语句:
from base insert overwrite table user select * ;
你会发现日志的末尾会有 “999 ROWD LOADED INTO TABLE USER” 的字样
代表有999条目记录保存在了user表中。
在而在新版本中,执行最后的日志展示了USER表的元数据,其中会有ROW_COUNT:999的字样
一看MYSQL中,999这个数据确实被保存了起来。
也就是说大家以后不必再用“select count(*) from user ”去查询user表的大小了,因为HIVE会将这个语句翻译为MR作业在HADOOP上运行,效率非常低。
新的方法是
HiveConf
conf = new HiveConf(SessionState.class);
Hive
hive = Hive.get(conf);
System.out.println(hive.getTable("user").getTTable()
.getParameters());
List
list = hive.getPartitions(hive.getTable("user"));
for
(Partition p : list) {
System.out.println(p.getParameters());
}
其中打印出来的就是USER表的元数据。
PS:
1。有人会问
select count(1) from user where age=20 这种带有条件的计数怎么办?
别忘记HIVE有分区的概念,看到上面的API了吗,分区也是有元数据的。
2. conf是什么东西?
conf是HIVECONF
寻找你CLASSPATH路径下的HIVESITE文件生成的配置文件对象。
将服务器上的HIVE配置文件COPY到你的项目中,这个API就可以使用了。
印象最深的是HIVE将表的大小作为了元数据保存在了关系数据库中。
譬如在老版本中执行如下的语句:
from base insert overwrite table user select * ;
你会发现日志的末尾会有 “999 ROWD LOADED INTO TABLE USER” 的字样
代表有999条目记录保存在了user表中。
在而在新版本中,执行最后的日志展示了USER表的元数据,其中会有ROW_COUNT:999的字样
一看MYSQL中,999这个数据确实被保存了起来。
也就是说大家以后不必再用“select count(*) from user ”去查询user表的大小了,因为HIVE会将这个语句翻译为MR作业在HADOOP上运行,效率非常低。
新的方法是
HiveConf
conf = new HiveConf(SessionState.class);
Hive
hive = Hive.get(conf);
System.out.println(hive.getTable("user").getTTable()
.getParameters());
List
list = hive.getPartitions(hive.getTable("user"));
for
(Partition p : list) {
System.out.println(p.getParameters());
}
其中打印出来的就是USER表的元数据。
PS:
1。有人会问
select count(1) from user where age=20 这种带有条件的计数怎么办?
别忘记HIVE有分区的概念,看到上面的API了吗,分区也是有元数据的。
2. conf是什么东西?
conf是HIVECONF
寻找你CLASSPATH路径下的HIVESITE文件生成的配置文件对象。
将服务器上的HIVE配置文件COPY到你的项目中,这个API就可以使用了。
相关文章推荐
- 关于HIVE的SELECT count(*) 优化
- 关于HIVE的SELECT count(*) 优化
- select count(*)优化 快速得到总记录数
- 关于Hive优化的四种方法总结
- SELECT COUNT使用优化 (转自http://hi.baidu.com/dearhwj/blog/item/3a45b28de358031ab31bba1b.html)
- hive中运行 select count(1) from test报错
- 关于mysql order by 的select查询的索引创建和优化
- 关于select Count()的使用和性能问题
- MySQL 的 select count() 优化
- 关于HIVE优化的四种方法总结
- 关于count(distinct)的优化
- Hive SQL优化之 Count Distinct
- Hive SQL 语义分析:select count(*) from tableName
- select count的优化
- 关于Hibernate读取select count(*)的返回值到底是Long还是Integer
- 关于hive中join的一些优化事项
- hive可以执行select * from table;“ 却无法执行"select count(*) from table;"
- 时间不同步问题导致hive 只能select* 不能select count(*)select 某个字段 ,是因
- 关于Hibernate select count(*)返回值为Long还是Integer?
- 关于在Hibernate里使用select count(*) 返回值的问题说明