MapReduce之MapTask工作机制

1. 阶段定义

MapTask

map

key-value

sort

key-value

2. MapTask工作机制

1. Read阶段
   MapTask通过用户编写的

   RecordReader

   ，从输入

   InputSplit

   中解析出一个个

   key/value

   。

2. Map阶段
   该节点主要是将解析出的key/value交给用户编写

   map()

   函数处理，并产生一系列新的key/value。

3. Collect收集阶段
   在用户编写map()函数中，当数据处理完成后，一般会调用

   OutputCollector.collect()

   输出结果。在该函数内部，它会将生成的key/value分区（调用

   Partitioner

   ），并写入一个内存缓冲区中，并且会被

   Partitioner

   计算一个分区号，按照先后顺序分配

   index

   下标

4. Spill阶段

• 即“溢写”，在此阶段有两个重要线程。收集线程负责向缓冲区收集数据，缓冲区初始值为100M，当使用到80%阈值，唤醒溢写线程，溢写线程会将缓冲区已经收集的数据溢写到磁盘。

• 在溢写前，会对缓冲区中的数据进行排序(快速排序)，在排序时，只通过比较key进行排序，只改变index的位置，不交换数据的位置

• 排序后，按照分区，依次将数据写入到磁盘的临时文件的若干分区中

• 每次溢写都会生成一个临时文件，当所有的数据都溢写完成之后，会将所有的临时文件片段合并为一个总的文件

1. Combine阶段

• 在合并时，将所有的临时文件的相同分区的数据，进行合并，合并后再对所有的数据进行排序(归并排序)

• 最终生成一个结果文件(

  output/file.out

  )，同时生成相应的索引文件

  output/file.out.index

  ，这个文件分为若干分区，每个分区的数据已经按照key进行了排序，等待

  reduceTask

  的shuffle线程来拷贝数据！

溢写阶段详情：

• 步骤1：利用快速排序算法对缓存区内的数据进行排序，排序方式是，先按照分区编号Partition进行排序，然后按照key进行排序。这样，经过排序后，数据以分区为单位聚集在一起，且同一分区内所有数据按照key有序。

• 步骤2：按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文件output/spillN.out（N表示当前溢写次数）中。如果用户设置了Combiner，则写入文件之前，对每个分区中的数据进行一次聚集操作。

• 步骤3：将分区数据的元信息写到内存索引数据结构SpillRecord中，其中每个分区的元信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大小超过1MB，则将内存索引写到文件output/spillN.out.index中。