Yarn的应用场景与原理

Yarn的应用场景与原理

Yarn产生的背景

hadoop1.0不能满足多系统集成的背景孕育了yarn的产生。由于多分布式系统可以很好的集成，因此yarn的出现使得整个集群的运维成本大大降低。同时，yarn可以很好的利用集群资源，避免资源的浪费，除此之外，yarn的出现实现了集群的数据共享问题，不同的分布式计算框架可以实现数据的共享。总结来说为以下两点：

直接源于MR在几个方面的缺陷

-扩展性受限

-单点故障

-难以支持MR之外的计算

多计算框架各自为战，数据共享困难

-MR:离线计算框架

-Storm:实时计算框架

-Spark:内存计算框架

Yarn的基本构成

我们通过Yarn的工作流程图来了解Yarn的组织架构，如下图：



（1）Client向ResourceManager发送请求

（2）ResourceManager指定一个NodeManager启动起ApplicationMaster

（3）ApplicationMaster将计算任务反馈给ResourceManager

（4）ApplicationMaster将任务分割分发到不同的NodeManager

（5）NodeManager启动Task执行work

接着需要了解的是Yarn的每个节点的详细功能：

ResourceManager

整个集群中只有一个，负责集群资源的统一管理和调度

详细功能：

-处理客户端请求

-启动/监控ApplicationMaster

-监控NodeManager

-资源分配与调度

NodeManager

整个集群有多个，负责单节点资源管理和使用

详细功能：

-单个节点上的资源管理和任务管理

-处理来自ResourceManager的命令

-处理来自ApplicationMaster的命令

ApplicationMaster

每个应用只有一个，负责应用程序的管理

详细功能：

-数据切分

-为应用程序申请资源，并进一步分配给内部任务

-任务监控与容错

Container

对任务运行环境的抽象

详细信息：

-任务运行资源（节点，内存，CPU）

-任务启动命令

-任务运行环境

下面给出Yarn的运行剖析图：



Yarn具有双层调度策略

ResourceManager将资源分配给ApplicationMaster,ApplicationMaster再将资源分配给NodeManager。此外，Yarn具有预留的调度策略，资源不够时，会为Task预留资源直到资源积累充足。

Yarn具有较好的容错机制

当任务失败时，ResourceManager将失败任务告诉ApplicationMaster。由ApplicationMaster处理失败任务，ApplicationMaster会保存已经执行的Task,重启不会重新执行。

Yarn支持内存和CPU两种资源隔离。

内存是一种决定生死的资源，CPU是一种影响快慢的资源，其中，内存隔离包括基于线程监控的方案和基于Cgroups的方案，而CPU隔离包括默认不对CPU资源进行隔离和基于Cgroups的方案。

Yarn支持的调度语义

yarn支持的语义有请求某个特定节点/机架上的特定资源量和将某些节点加入（或移除）黑名单，不再为自己分配这些节点上的资源，请求归还某些资源。

Yarn不支持的语义有请求任意节点/机架上的特定资源量；请求一组或几组符合某种特质的资源；超细粒度资源；动态调整Container资源。

Yarn的设计目标

Yarn是通用的统一资源管理系统，同时运行长应用程序和短应用程序。长应用程序通常情况下，指永不停止运行的程序service,http server等，短应用程序指短时间（秒级，分钟级，小时级）内会运行结束的程序MR job,Spark Job等。

以Yarn为核心的生态系统也越来越多了



比如，离线计算框架MapReduce,DAG计算框架TeZ,流式计算框架Strom,内存计算框架Spark等等，详细介绍后续更新。