hive学习（8）--- Hive任务转换为MP的原理分析（通过explain查看hive映射到mp的stage）

Hive任务分析

如果要深入学习hive，那数据倾斜的问题是必然要面临的，又称为hive调优。想要调优，就必须了解hive是如何把hql转换成MP程序的，转换的规则是什么，只有知道规则，才能分析它的过程，从而有针对性的优化。

Hive通常以hql的形式执行，它的本质是MP程序。不同的hql，会根据自己的规则，转换成不同的MP任务，比如比较简单的hql，会转成一个job（包括一个map和一个reduce），比较复杂的hql（如三表联合），会转成成3个job。

hive提供了explain命令，用于告诉用户hql会转成成哪些stage以及每个stage会干什么。这为深入学习hive提供了可能。

先来看一个简单的例子：

hive> explain select * from weather where city='beijin' limit 5;

OK

ABSTRACT SYNTAX TREE:

(TOK_QUERY (TOK_FROM (TOK_TABREF(TOK_TABNAME weather))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE))(TOK_SELECT (TOK_SELEXPR TOK_ALLCOLREF)) (TOK_WHERE (= (TOK_TABLE_OR_COL city)'beijin')) (TOK_LIMIT 5)))

STAGE DEPENDENCIES:

Stage-1 is a root stage

Stage-0 is a root stage

STAGE PLANS:

Stage: Stage-1

Map Reduce

Alias -> Map OperatorTree:

weather

TableScan

alias: weather

Filter Operator

predicate:

expr: (city ='beijin')

type: boolean

Select Operator

expressions:

expr: date

type: string

expr:country

type: string

expr: city

type: string

expr: weath

type: string

expr:mintemperat

type: int

expr:maxtemperat

type: int

expr:pmvalue

type: int

outputColumnNames:_col0, _col1, _col2, _col3, _col4, _col5, _col6

Limit

File OutputOperator

compressed: false

GlobalTableId:0

table:

inputformat: org.apache.hadoop.mapred.TextInputFormat

outputformat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

Stage: Stage-0

Fetch Operator

limit: 5

参考文章：
http://blog.csdn.net/kntao/article/details/12837329 http://yugouai.iteye.com/blog/1850816