MapReduce2.0

MapReduce2.0运行流程



1、Client将应用程序提交给ResourceManager

2、ResourceMananager申请资源并与Nodemanager通信

3、Nodemanager收到请求启动MR AppMaster

4、MR AppMaster(MapTask、ReduceTask)与ResourceManager通信并申请资源

5、MR AppMaster申请到资源与NodeManager通信运行Task

6、NodeManager启动Task

MRAppMaster容错性:

一旦运行失败，由YARN的ResourceManager负责重新启动，最多重启次数可由用户设置，默认是2次。一旦超过最高重启次数，则作业运行失败。

Map Task/Reduce Task：

Task周期性向MRAppMaster汇报心跳，一旦Task挂掉，则MRAppMaster将为之重新申请资源，并运行。最多重新运行次数可由用户设置，默认4次。