hive学习笔记:FetchTask
2016-02-16 16:35
344 查看
hive学习笔记:FetchTask
我们在执行hive代码的时候,一条简单的命令大部分都会转换成为mr代码在后台执行,但是有时候我们仅仅只是想获取一部分数据而已,仅仅是获取数据,还需要转化成为mr去执行吗?那个也太浪费时间和内存啦,所以有一个hive的配置如下图所示:我们会发现这个属性所对应着两种模式,minimal和more。
在minimal下,我们执行select * ,limit,filter在一个表所属的分区表上操作,这三种情况都会直接进行数据的拿去,也就是直接把数据从对应的表格拿出来,不用跑mr代码,这样会快点儿运行程序。
在more模式下,运行select,filter,limit,都是运行数据的fetch,不跑mr应用,所以感觉more模式会更好点儿。
具体的我们看看下面的演示:
set hive.fetch.task.conversion=minimal //默认情况下是minimal
select * from emp
select empno from emp;//mr应用程序
set hive.fetch.task.conversion=more
select empno from emp;//mr应用程序
可以看到这种情况下。select的查询据变成了数据的fetch而不是mr应用。
相关文章推荐
- html5伪3d游戏探索
- 使用javascript+dom+xml实现分页
- JavaScript接受URL参数的代码
- 前端开发中Cookie那些事儿
- angular 异步处理模式promise---$q
- 剖析Node.js异步编程中的回调与代码设计模式
- JavaScript高级程序设计学习笔记 01
- jquery.layout框架分割线
- css命名定义
- css 文本超出容器长度后自动省略的方法!
- 不用new的方式手动构造JS对象
- html鼠标移到一级标题显示二级标题的例子
- ACE模板知识积累-CSS部分-2-color
- 文本框获取焦点后如何将光标定位到文本最后
- json 数据 添加 删除 排序
- CSS“隐藏”元素的几种方法的对比
- CSS3 动画 思维导图
- NodeJS之一——环境搭建
- nodejs中cluster使用
- 使用Node.js处理前端代码文件的编码问题