YARN架构简介
2014-11-03 23:28
106 查看
从Hadoop的0.23版本,MapReduce进行了全面的彻底的变革,也就是我们今天看到的MapReduce 2.0或者我们也可以叫它YARN.
老版本的JobTracker有两个主要的功能:资源管理、任务调度与监控。Yarn的思路就是把这两个功能进行拆分,分别交给两个独立进程进行维护。这两个进程分别是ResourceManager进程和ApplicationMaster进程。ApplicationMaster进程是每个Job一个。
RM和NM两种角色构成了Hadoop集群的计算框架。RM对所有Job的资源申请具有最终的决定权。
ApplicationMaster进程负责从RM获得资源,并与NM一起执行监控tasks.
RM有两个主要的组件:Sheduler、ApplicationManager
Sheduler负责给运行的程序分配资源(存储容量、队列等)。Sheduler只管调度,不管应用程序的状态。即便是应用程序因为种种原因失败了,也和他没有关系。Sheduler根据每个程序对资源的申请来进行调度。resourceContainer是一个新抽象的概念,它是内存、CPU、磁盘、网络等资源的抽象集合,第一版只支持了内存。Sheduler以resourceContainer为单位进行资源分配。
Scheduler在设计上采用了插件的策略,CapacityScheduler 和FairScheduler
就是Scheduler的两个插件。类似于Eclipse,扩展起来容易吧?
CapacityScheduler 支持分层次队列,该功能使得它可以分配更多的集群资源(分配那些未来会被释放的资源)
ApplicationsManager 负责接收提交的任务,找到执行任务的ApplicationMaster
的容器,在容器失败的情况下,对容器进行重启。
NodeManager 是个客户端程序,提供ApplicationsManager
运行需要的容器,并对所在机器的资源(CPU、内存、磁盘、网络)进行监控,并把监控结果汇报给 ResourceManager/Scheduler.
ApplicationMaster 从Scheduler获得资源,跟踪任务的状态和执行进度。
MRV2与老版本的稳定版的MR保持兼容,老版本的MR程序重新编译一下在新的集群中就可以运行了。
老版本的JobTracker有两个主要的功能:资源管理、任务调度与监控。Yarn的思路就是把这两个功能进行拆分,分别交给两个独立进程进行维护。这两个进程分别是ResourceManager进程和ApplicationMaster进程。ApplicationMaster进程是每个Job一个。
RM和NM两种角色构成了Hadoop集群的计算框架。RM对所有Job的资源申请具有最终的决定权。
ApplicationMaster进程负责从RM获得资源,并与NM一起执行监控tasks.
RM有两个主要的组件:Sheduler、ApplicationManager
Sheduler负责给运行的程序分配资源(存储容量、队列等)。Sheduler只管调度,不管应用程序的状态。即便是应用程序因为种种原因失败了,也和他没有关系。Sheduler根据每个程序对资源的申请来进行调度。resourceContainer是一个新抽象的概念,它是内存、CPU、磁盘、网络等资源的抽象集合,第一版只支持了内存。Sheduler以resourceContainer为单位进行资源分配。
Scheduler在设计上采用了插件的策略,CapacityScheduler 和FairScheduler
就是Scheduler的两个插件。类似于Eclipse,扩展起来容易吧?
CapacityScheduler 支持分层次队列,该功能使得它可以分配更多的集群资源(分配那些未来会被释放的资源)
ApplicationsManager 负责接收提交的任务,找到执行任务的ApplicationMaster
的容器,在容器失败的情况下,对容器进行重启。
NodeManager 是个客户端程序,提供ApplicationsManager
运行需要的容器,并对所在机器的资源(CPU、内存、磁盘、网络)进行监控,并把监控结果汇报给 ResourceManager/Scheduler.
ApplicationMaster 从Scheduler获得资源,跟踪任务的状态和执行进度。
MRV2与老版本的稳定版的MR保持兼容,老版本的MR程序重新编译一下在新的集群中就可以运行了。
相关文章推荐
- Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置
- Hadoop2.X/YARN环境搭建--CentOS7.0系统配置
- YARN或将成为Hadoop新发力点
- hadoop-0.23.5 pipes测试
- 手动配置安全的Hadoop YARN集群
- windows中hadoop使用测试
- Ubuntu上搭建hadoop 2.2.0环境,配置yarn(单机)
- Hadoop 2.0 ResourceManager HA原理
- 资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析
- YARN(Hadoop)学习笔记(2) 4000
- hadoop2伪分布简易配置
- 利用svn检出hadoop源文件
- hadoop2.2.0 nodemanager启动后失败分析!!!
- Hadoop 2.2 YARN分布式集群搭建配置流程
- Hadoop 2.2.0 单节点安装
- Hadoop的内存配置
- hadoopYanr2.3安装
- windows下安装Hadoop 2.4
- Hadoop YARN的发展史与详细解析
- centos下的hadoop部署(64位)