基于Yarn平台的MapReduce运行机制

基于Yarn平台的MapReduce运行机制如下图所示：



详细步骤：

1>用户向yarn平台提交应用程序

2>yarn平台的ResourceManager接收到我们客户端提交给的MapReduce程序后，把程序交给某个NodeManager节点，随后在这个NodeManager节点上启动一个进程— MRAppMaster

3>MRAppMaster首先向ResourceManager注册，这样用户可以通过ResourceManager节点查看应用程序的运行状态

4>随后MRAppMaster通过RPC协议向ResourceManager节点申请资源并领取资源

5>MRAppMaster申请到资源后，便于对应的NodeManager节点进行通信，要求它启动任务

6>NodeManager节点启动完任务后(mapper+reducer)，各个任务将通过RPC协议向ApplicationMaster节点报告自己的状态和进度，以让ApplicationMaster节点随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。

7>mapreduce程序运行完成后，MRAppMaster节点向ResourceManager节点注销并关闭自己，资源被回收。到此任务运行完毕。