yarn基本架构
2015-09-15 14:30
701 查看
yarn将hadoop2.x中的mrv.1的JobTracker和TaskTracker分成了一个全局的资源管理器ResourceManager和每个程序所特有的ApplicationMaster
ResourceManager负责整个集群的资源管理和分配,而ApplicationMaster则负责单个程序的管理
2.应用程序管理器(Applications Manager):负责管理整个集群中的所有应用程序,包括任务的提交,与调度器协调资源,启动applicationMaster,监控applicationMaster的运行状态并在失败时重新启动它
1.与RM的调度器协调以获取资源
2.将得到的任务进一步分配给内部的任务;
3.与namenode通信以启动和中止服务
4.监控所有任务的状态,当失败时重启服务,
1.定时向RM汇报本节点上的资源使用情况和各个container(包含了运行一个任务的cpu,内存等资源)的运行状态:
2.接受并处理来自AM的container的启动和停止请求
ResourceManager负责整个集群的资源管理和分配,而ApplicationMaster则负责单个程序的管理
yarn基本组成结构
yarn使用master/slave结构,resourceManager是master,而NodeManager是salve,而RM负责对NM上的资源进行管理和分配,也就是当用户提交一个应用程序的时候,需要提供一个跟踪和管理这个程序的ApplicationMaster,它负责向RM申请资源,RM的构成
1.调度器(schedule):根据容量和队列等限制条件,将系统中的资源分配到各个正在运行的应用程序,它仅根据资源需求进行资源的分配2.应用程序管理器(Applications Manager):负责管理整个集群中的所有应用程序,包括任务的提交,与调度器协调资源,启动applicationMaster,监控applicationMaster的运行状态并在失败时重新启动它
ApplicationMaster
用户的每个程序包含一个AM;主要功能1.与RM的调度器协调以获取资源
2.将得到的任务进一步分配给内部的任务;
3.与namenode通信以启动和中止服务
4.监控所有任务的状态,当失败时重启服务,
NodeManager
NM是每个节点上的资源和任务管理器,作用:1.定时向RM汇报本节点上的资源使用情况和各个container(包含了运行一个任务的cpu,内存等资源)的运行状态:
2.接受并处理来自AM的container的启动和停止请求
Container
Container是yarn中的资源抽象,当AM向Rm申请资源时,RM为AM返回的资源就使用Container表示,而yarn为每个任务分配一个Container,且该任务只能使用Container中描述的资源,相关文章推荐
- 12个免费学习编程的网站
- 浅谈单片机应用程序架构
- 推荐一个非常好的在线工具网站
- 让架构接地气,不再云里雾里
- 技术揭秘12306改造(二):探讨12306两地三中心混合云架构
- 关于怎么同步代码到github网站
- WebRTC 介绍 架构 等等
- godaddy空间如何建网站教程
- 学习网站
- 可以用于练习编程的网站和书
- 提升用户体验!29个使用动画效果的网站布局
- 网站分类前导:获取网站标题和描述及对相关信息进行分词处理
- 网站分类前导:获取网站标题和描述及对相关信息进行分词处理
- 浏览器显示网站小图标
- loading.io一个loading图标网站,跟大家分享
- Spark里边:Worker源代码分析和架构
- C/S架构程序多种类服务器之间实现单点登录(转)
- 开源网站和镜像站点不得不说的秘密
- 安卓中的Flux架构
- Dubbo架构设计详解