【详解】HADOOP的资源调度平台YARN基本架构的工作机制和其中三种Scheduler资源资源调度器不同的调度机制
2020-01-13 07:46
513 查看
一 Yarn概述
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
二 Yarn基本架构
YARN主要由ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)和Container等组组成,在架构中,ResourceManager是负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个ApplicationManager。
RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作:
a.NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。 b.ApplicationMasters负责与ResourceManager协商资源与NodeManagers合作启动容器。
1 ResourceManager基本职能
①与客户端进行交互,处理来自于客户端的请求,如查询应用的运行情况等。
②启动和管理各个应用的ApplicationMaster,并且为ApplicationMaster申请第一个Container用于启动和在它运行失败时将它重新启动。
③管理NodeManager,接收来自NodeManager
相关文章推荐
- Hadoop基础教程-第5章 YARN:资源调度平台(5.2 YARN参数解读与调优)
- Java大数据学习11--资源调度平台Yarn的执行流程和三种调度器介绍
- Hadoop基础教程-第5章 YARN:资源调度平台(5.6 YARN的命令)(草稿)
- Hadoop基础教程-第5章 YARN:资源调度平台(5.3 YARN集群配置)(草稿)
- Hadoop Yarn 的三种资源调度器详解
- Hadoop基础教程-第5章 YARN:资源调度平台(5.5 YARN的调度器)(草稿)
- Hadoop基础教程-第5章 YARN:资源调度平台(5.4 YARN集群运行)(草稿)
- Hadoop基础教程-第5章 YARN:资源调度平台(5.1 YARN介绍)(草稿)
- Hadoop YARN中内存和CPU两种资源的调度和隔离
- Hadoop YARN中内存和CPU资源的调度和隔离
- Hadoop学习笔记(Map-Reduce的工作、调度机制)
- hadoop架构详解(hdfs,yarn,mpreduce)
- 深度理解yarn架构及其作业调度机制
- hadoop一些基本知识——Mapreduce 整个工作机制图
- Hadoop-Yarn资源调度流程
- hadoop之MR on yarn 架构详解与shuffle剖析
- Hadoop YARN中内存和CPU两种资源的调度和隔离
- Hadoop YARN 基本架构和发展趋势
- Hadoop YARN中内存和CPU两种资源的调度和隔离