Hadoop的优化（Shuffle过程）

1. Shuffle过程(以wordcount为例)

Shuffle过程：即洗牌或弄乱

　　Collections.shuffle(List):随机打乱参数list里面的元素顺序。

　　MaoReduce里的Shuffle：描述着数据从map task输出到Reduce task输入阶段过程。

　　

Shuffle过程

　　*step1:

　　　　input

　　　　　InputFormat

　　　　　*读取数据

　　　　　*转换成<　key,　value　>对

　　　　　　FileInputFormat

　　　　　*TextInputFormat

　　*step2:

　　　　map

　　　　　ModuleMapper

　　　　　　map(KEYIN,VALUEIN,KEYOUT,VALUEOUT)

　　　　　继承TableMapper

　　　　　　TableMapper:将Scan出的HBase记录进行Split，解决了如何将HBase的record切分为inputSplit

　　　　　Map数量如何确定（由Split大小即block决定）:

　　　　　　　每个Split大小 = min（max.split.size,min(block.size,min.split.size)）

　　　　　　　目的：保证一个inputSplit只来自于block

　　　　　*默认情况下（输入格式）

　　　　　　KEYIN：LongWritable

　　　　　　VALUE：TEXT

　　 *step3:

　　　　 shuffle

　　　　*process

　　　　　*map,output<　key,value>

　　　　　　　*memory(内存，内存比较大时，spill)

　　　　　　　*spill(溢写到本地磁盘,文件很多时)

　　　　　　　　*分区（partition）:将Map的输出分配到各个Reduce上 （分区逻辑不合理，会导致数据倾斜，需要重写分区逻辑）

　　　　　　　　　　分区逻辑：

　　　　　　　　　　　　　　　 hashcode%3

　　　　　　　　*排序（sort）:只对同一分区内的key值进行排序，如果要全局排序，就要重写分区逻辑。

　　　　　*很多小文件：spill

　　　　　　　 *合并（merge）

　　　　　　　 *排序（sort）

　　　　　　大文件 ->map task运行的本地磁盘目录下

—————————————-mapShuffle结束，ReduceShuffle开始—————————————————–

　　　　　*copy

　　　　　　　Reduce Task会到Map Task运行的机器上拷贝所需要的数据

　　　　　*合并，merge,排序　sorter

　　　　　 *分组group

　　　　　　　将相同key的value放在一起

总的来说：

　　　*分区（partition）

　　　*排序（sort）

　　　*拷贝copy—-用户无法干涉

　　　*分组group

　　　*可设置

　　　*压缩

　　　　　compress

　　　*combiner

Map Task短的Reduce

　　*step4:

　　　　reduce

　　　　　reduce(KEYIN,VALUEIN,KEYOUT,VALUEOUT)

　　　　　map输出<　key,value>数据类型与reduce的输入类型一致

　　*step5：

　　　　　output

　　　　　　 OutputFormat

　　　　　　 FileOutputFormat

　　　　　TextOutputFormat

　　　　　每个<　key,value>对，输出一行，key与value中间的分隔符为\t,默认调用key和value的toString方法

　　Map-01

　<　hadoop,1>

　<　hadoop,1>

　<　yarn,1>

　　Map-02

　　Map-03

　Reduce-01

　　　a-zA-Z

　Reduce-02

　　　 other