Map-Reduce核心之shuffle过程

重点内容！！！

需要熟记：

80%-90%会问



　　一个切片split对应一个mapper，mapper将数据写到环形缓冲区，这个环形缓冲区默认是100M，当它达到80%阀值，它会将数据溢写到磁盘。溢写并不是简单的溢写，而是先进行分区，然后对每个分区进行合并，最后它会将数据合并成一个大文件，相同分区号中的数据进行合并，合并完成之后每个分区里面的数据再按照key2进行合并。

　　计算完成之后，向它的上级领导 (taskTracker (hadoop1.x)/mrAppMaster(hadoop2.x)) 进行汇报，然后reducer就知道这个文件的映射关系了，接下来他通过HTTP方式来下载数据，下载很多小文件，接着会进行合并，合并之后再进行排序，然后作为reduce的输入，然后输出到HDFS里面。

　　1. 每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。

　　2. 写磁盘前，要partition,sort。如果有combiner，combine排序后数据。

　　3. 等最后记录写完，合并全部溢出写文件为一个分区且排序的文件。

　　1. Reducer通过Http方式得到输出文件的分区。

　　2. TaskTracker为分区文件运行Reduce任务。复制阶段把Map输出复制到Reducer的内存或磁盘。一个Map任务完成，Reduce就开始复制输出。

　　3. 排序阶段合并map输出。然后走Reduce阶段。