Spark资源调度和任务调度
2019-05-25 11:11
141 查看
在了解资源调度和任务调度之前,需要先了解一下宽窄依赖和Stage两个概念
1.宽窄依赖
RDD之间是有依赖关系的,分为宽依赖和窄依赖 宽依赖 父RDD和子RDD之间的对应关系是一对多,即一个RDD中的数据会被放到多个子RDD中 窄依赖 父RDD和子RDD之间的对应关系是一对一或多对一,即一个父RDD中的数据去往一个子RDD或多个父RDD中的数据去一个子RDD
2.Stage
Spark任务会根据RDD之间的依赖关系,形成一个DAG有向无环图。 DAG会被提交给DAGScheduler,DAGScheduler会把DAG划分为相互依赖的多个Stage,划分依据就是RDD之间的宽窄依赖。 遇到宽依赖就划分为Stage,每个Stage包含一个或多个task,然后将这些task以taskset的形式提交给TaskScheduler运行 每个Stage的task个数由Stage内最后一个RDD的分区数决定 Stage是由一组并行的task组成,这些task是一样的,只是针对的数据不同 每个Stage中的task是以管道pipeline的形式进行计算的,即对于每一条数据会直接通过task中的每个算子运算,而不是等全部的数据都在第一个算子计算后,再去第二个算子计算。 假设一个Stage中有算子f1,f2,f3,则有数据进行处理时:f3(f2(f1(数据))),将多个算子嵌套起来。而不是一批数据f1(数据)=>result1,在对结果的数据集result执行f2(数据)
3.Spark的资源调度和任务调度(standalone-cluster为例)
1.当资源启动时,Worker会向Master节点汇报资源,这时Master就掌握了Worker所拥有的资源 2.在客户端将Application提交时,会根据RDD之间的依赖关系形成一个DAG有向无环图 3.向Master申请资源,开启Driver 4.Master会随机找选择一台任务不忙的节点开启Driver 5.在任务提交之后会在Driver上创建启动两个对象DAGScheduler和TaskScheduler。 6.TaskScheduler在创建完成后,会向Master申请执行任务的资源 7.Master找到满足资源的Worker,在Worker上启动Executor 8.Worker上的Executor在启动后,会向Driver反向注册。这时Driver就会有一批用以执行任务的Executor 9.DAGScheduler将DAG根据依赖关系切分成一个个Stage,并将Stage中的任务task以TaskSet的方式传递给TaskScheduler 10.TaskScheduler会去遍历TaskSet,拿到每一个task,将task发送给计算节点上的Executor去执行 11.task在计算节点上的执行情况会向TaskScheduler汇报,当task执行失败时,TaskScheduler会重新发送该任务,当三次失败后,那个task所在的Stage宣布失败 12.当Stage失败后,DAGScheduler重试,重发TaskSet到TaskScheduler。DAGScheduler的重试次数为4次,即当4次后让未成功,则该job执行失败,则该application失败
4.资源申请分为粗粒度资源申请和细粒度资源申请
粗粒度资源申请:
在Application执行之前,将全部的资源申请完毕 在申请资源时,必须申请到全部的资源才能开始任务的执行,在没有申请到全部资源时,是不会执行的 在任务开始执行后,必须等任务执行结束后,才会释放资源 因为资源已经全部申请,这是在执行Task时就不必等待资源的申请了,Task就可以很快的启动,Task块->Stage快->job快->application快
细粒度资源申请
在Application执行前,不必去申请资源,而是直接执行,当执行到某个task时,为该task申请资源,执行完成后释放资源 这样可以将资源充分利用,不会有申请的资源闲置的情况。 但在每个task执行时都需要申请资源,会使得task的执行速度变的很慢
相关文章推荐
- Spark资源调度和任务调度流程
- Spark Core 资源调度与任务调度(standalone client 流程描述)
- spark 图文详解:资源调度和任务调度
- Spark Core_资源调度与任务调度详述
- Spark 资源调度及任务调度
- 【Spark篇】---Spark资源调度和任务调度
- Spark资源调度和任务调度过程介绍
- “戏”说spark---资源调度和任务调度
- Spark资源调度与任务调度(standalone模式)
- Spark资源调度和任务调度
- Spark2.x资源调度源码再析之大白话系列
- 六、spark部署模式(资源调度模式)
- spark task、job、partition之间的关系 宽窄依赖 spark任务调度
- Spark Executor Driver资源调度小结
- 分布式资源管理与任务调度框架yarn的运行流程
- 27课 :SPARK 运行在yarn资源调度框架 client 、cluster方式 !!
- 深入浅出之Spark任务调度
- spark 核心作业调度和任务调度
- [大数据]连载No8之Spark(集群客户端+控制类算子+广播变量+任务调度)
- Spark 任务调度之Executor执行task并返回结果