分布式资源管理与任务调度框架yarn的运行流程
1)用户向 YARN 中提交应用程序/作业,其中包括 ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。
2)ResourceManager 为作业分配第一个 Container,并与对应的NodeManager 通信,要求它在这个 Container 中启动该作业的 ApplicationMaster。
3)NodeManager 启动一个 Container 运行 ApplicationMaster。
4)ApplicationMaster 首先向 ResourceManager 注册,这样用户可以直接通过 ResourceManager 查询该作业的运行状态;然后它将为各个任务申请资源并监控任务的运行状态。
如果 Container 没有完全申请到位,则会先使用已经分配到位的部分 Container 资源进行后续的第 5、6、7 步骤,其余 Container 部分由 ApplicationMaster 采用轮询的方式通过 RPC 请求向
ResourceManager 申请和领取资源,直到全部资源分配到位。
5)一旦 ApplicationMaster 申请到资源后,便与对应的 NodeManager 通信,要求它启动任务。
6)NodeManager 执行 ApplicationMaster 发送的命令,启动 Container 任务。
7)各 个 Container 通 过 RPC 向 ApplicationMaster 汇 报 自 己 的 状 态 和 进 度 , 以 让ApplicationMaster 随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。
在作业运行过程中,用户可以随时通过 RPC 向 ApplicationMaster 查询作业当前运行状态。
8)作业完成后,ApplicationMaster 向 ResourceManager 申请注销并关闭自己。
- 04-天亮大数据系列教程之分布式资源管理与任务调度框架Yarn
- hadoop - hadoop2.6 伪分布式 - 全局配置 和 启用 YARN 进行任务调度与资源管理
- yarn对mapreducev1的重构,根本的思想是将 JobTracker 两个主要的功能分离成单独的组件,这两个功能是资源管理和任务调度 / 监控。
- 27课 :SPARK 运行在yarn资源调度框架 client 、cluster方式 !!
- 分布式资源调度框架YARN
- hadoop资源管理框架yarn运行原理
- 资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析
- Hadoop基础教程-第5章 YARN:资源调度平台(5.4 YARN集群运行)(草稿)
- 分布式资源管理系统:YARN架构与应用
- 关于TbSchedule任务调度管理框架的整合部署
- Java线程池管理及分布式Hadoop调度框架搭建
- 关于TbSchedule任务调度管理框架的整合部署
- JAVA线程池管理及分布式HADOOP调度框架搭建
- LTS 轻量级分布式任务调度框架(Light Task Scheduler)
- 【niubi-job——一个开源的分布式任务调度框架】-----安装教程
- [转载]Gearman(分布式任务调度框架) 简介
- 【niubi-job——一个开源的分布式任务调度框架】-----安装教程
- LTS 轻量级分布式任务调度框架(Light Task Schedule) - 推酷
- JAVA线程池管理及分布式HADOOP调度框架搭建
- 【niubi-job——一个分布式的任务调度框架】----niubi-job这下更牛逼了!