yarn运行mapreduce的工作机制
2017-09-09 18:56
323 查看
yarn的基本概念
yarn并不清楚用户提交的程序的运行机制
yarn只提供运算资源的调度(用户程序向yarn申请资源,yarn就负责分配资源)
yarn中的主管角色叫ResourceManager
yarn中具体提供运算资源的角色叫NodeManager
这样一来,yarn其实就与运行的用户程序完全解耦,就意味着yarn上可以运行各种类型的分布式运算程序(mapreduce只是其中的一种),比如mapreduce、storm程序,spark程序,tez
……
所以,spark、storm等运算框架都可以整合在yarn上运行,只要他们各自的框架中有符合yarn规范的资源请求机制即可
Yarn就成为一个通用的资源调度平台,从此,企业中以前存在的各种运算集群都可以整合在一个物理集群上,提高资源利用率,方便数据共享
yarn运行mapreduce的工作机制
客户端向yarn提交mr程序(application),job.submit()
resourcemananger返回一个mr提交的hdfs路径,hdfs://…./.staging/application_id(Jobid)
客户端把相应的资源文件上传至hdfs的…../.staging/application_id(Jobid)路径下(job.split、job.xml、jar包等等)
资源提交完毕,向rm申请运行mrApplication
将用户的请求初始化成一个task并放入消息队列
nodemanager领取task任务
根据任务描述信息,创建mrAppmaster容器,并从hdfs拉取资源文件
申请运行maptask/reducetask的运行容器
nodemanager领取任务信息,并分配maptask/reducetask运行容器
mrAppmaster启动相应的maptask/reducetask进程,进行mapreduce操作
整个job运行完毕后,mrAppMaster会向RM注销自己
yarn并不清楚用户提交的程序的运行机制
yarn只提供运算资源的调度(用户程序向yarn申请资源,yarn就负责分配资源)
yarn中的主管角色叫ResourceManager
yarn中具体提供运算资源的角色叫NodeManager
这样一来,yarn其实就与运行的用户程序完全解耦,就意味着yarn上可以运行各种类型的分布式运算程序(mapreduce只是其中的一种),比如mapreduce、storm程序,spark程序,tez
……
所以,spark、storm等运算框架都可以整合在yarn上运行,只要他们各自的框架中有符合yarn规范的资源请求机制即可
Yarn就成为一个通用的资源调度平台,从此,企业中以前存在的各种运算集群都可以整合在一个物理集群上,提高资源利用率,方便数据共享
yarn运行mapreduce的工作机制
客户端向yarn提交mr程序(application),job.submit()
resourcemananger返回一个mr提交的hdfs路径,hdfs://…./.staging/application_id(Jobid)
客户端把相应的资源文件上传至hdfs的…../.staging/application_id(Jobid)路径下(job.split、job.xml、jar包等等)
资源提交完毕,向rm申请运行mrApplication
将用户的请求初始化成一个task并放入消息队列
nodemanager领取task任务
根据任务描述信息,创建mrAppmaster容器,并从hdfs拉取资源文件
申请运行maptask/reducetask的运行容器
nodemanager领取任务信息,并分配maptask/reducetask运行容器
mrAppmaster启动相应的maptask/reducetask进程,进行mapreduce操作
整个job运行完毕后,mrAppMaster会向RM注销自己
相关文章推荐
- MR-3.Hadoop使用YARN运行MapReduce工作原理
- 分布式计算 MapReduce与yarn工作机制 推荐
- yarn/mapreduce工作机制及mapreduce客户端代码编写
- Mapreduce&yarn工作机制
- Yarn在MapReduce中的工作机制
- MapReduce1和YARN(MapReduce2)运行机制
- mapreduce&yarn的工作机制
- mapreduce&yarn的工作机制----吸星大法
- 基于Yarn平台的MapReduce运行机制
- hadoop一些基本知识——Mapreduce 整个工作机制图
- PHP工作模型与运行机制
- MapReduce总结,不考虑yarn的工作流程。
- 《hadoop权威指南》学习笔记-MapReduce工作机制(上)
- Mapreduce 整个工作机制图
- Hadoop权威指南学习(四)——MapReduce工作机制
- MapReduce进阶,函数运行机制以及逻辑详解
- 笔记:Hadoop权威指南 第6章 MapReduce 的工作机制
- hadoop 自学指南五之MapReduce工作机制
- MapReduce在YARN上的运行流程
- 浅谈HDFS和MapReduce-YARN的运行原理