您的位置:首页 > 大数据 > Hadoop

【详解】HADOOP的资源调度平台YARN基本架构的工作机制和其中三种Scheduler资源资源调度器不同的调度机制

2020-01-13 07:46 513 查看

一 Yarn概述

Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

二 Yarn基本架构

YARN主要由ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)和Container等组组成,在架构中,ResourceManager是负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个ApplicationManager

RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作:

a.NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。
b.ApplicationMasters负责与ResourceManager协商资源与NodeManagers合作启动容器。

1 ResourceManager基本职能

①与客户端进行交互,处理来自于客户端的请求,如查询应用的运行情况等。

②启动和管理各个应用的ApplicationMaster,并且为ApplicationMaster申请第一个Container用于启动和在它运行失败时将它重新启动。

③管理NodeManager,接收来自NodeManager

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: