Hive 参数介绍以及优化记录

本文参考：Hive 的参数说明：http://www.geedoo.info/hive-parameter-description.html

Hive 工作中优化记录：http://www.geedoo.info/hive-optimization-notes.html

Hive 配置参数详细介绍：http://www.aboutyun.com/thread-7794-1-1.html

Hive 命令行参数：http://blog.sina.com.cn/s/blog_940224600100zn2q.html

1. Map输入合并小文件

set mapred.max.split.size=256000000; #每个Map最大输入大小

set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小

set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; #执行Map前进行小文件合并
说明：

在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。

mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~

mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~
2.输出合并

set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件

set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件

set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小

set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge

3.设置压缩

set hive.exec.compress.output=true;

set mapred.output.compress=true; #设置map-reduce后的结果是否压缩set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; #设置map-reduce后的结果压缩格式

set io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; #设置io的压缩格式

set io.seqfile.compression.type=BLOCK;

4.设置Map-reduce数

改变reduce个数的方法：

set mapred.reduce.tasks = 2; #设置reduce个数

set hive.exec.reducers.bytes.per.reducer=500000000; （500M） #设置每个reduce任务处理的数据量

hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）

hive.exec.reducers.max（每个任务最大的reduce数，默认为999）
具体详细见网文：map和reduce 个数的设定 （Hive优化）经典

5、设置动态分区数

SET hive.exec.max.dynamic.partitions=100000;

SET hive.exec.max.dynamic.partitions.pernode=100000;
hive分区数目不是无限制的，最大分区数可以通过参数设置。

工作中Hive的优化记录：

set hive.exec.max.dynamic.partitions=100000;

set hive.exec.max.dynamic.partitions.pernode=100000;

set hive.exec.reducers.bytes.per.reducer=300000000;

set hive.exec.compress.output=true;

set mapred.output.compress=true;

set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

set io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;

说明：

hive.exec.max.dynamic.partitions=100000;

hive.exec.max.dynamic.partitions.pernode=100000;

优化Hive动态分区，详细问题见：Hive动态分区问题

hive.exec.reducers.bytes.per.reducer=300000000;

设置每个reduce接收300M数据，默认是1G。由于我的数据计算多，所以从1G改到500M，又改到300M。

hive.exec.compress.output=true;

mapred.output.compress=true;

mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;

设置压缩，reduce输出结果，和io压缩