Spark 任务调度

Spark 任务调度

1. 任务调度流程图

各个RDD之间存在着依赖关系，这些依赖关系就形成有向无环图DAG，DAGScheduler对这些依赖关系形成的DAG进行Stage划分，划分的规则很简单，从后往前回溯，遇到窄依赖加入本stage，遇见宽依赖进行Stage切分。完成了Stage的划分。DAGScheduler基于每个Stage生成TaskSet,并将TaskSet提交给TaskScheduler。TaskScheduler 负责具体的task调度,最后在Worker节点上启动task。

2. DAGScheduler

DAGScheduler对DAG有向无环图进行Stage划分。

记录哪个RDD或者 Stage 输出被物化（缓存），通常在一个复杂的shuffle之后，通常物化一下(cache、persist)，方便之后的计算。

重新提交shuffle输出丢失的stage（stage内部计算出错）给TaskScheduler

将 Taskset 传给底层调度器

– spark-cluster TaskScheduler

– yarn-cluster YarnClusterScheduler

– yarn-client YarnClientClusterScheduler

3. TaskScheduler

为每一个TaskSet构建一个TaskSetManager 实例管理这个TaskSet 的生命周期

数据本地性决定每个Task最佳位置

提交 taskset( 一组task) 到集群运行并监控

推测执行，碰到计算缓慢任务需要放到别的节点上重试

重新提交Shuffle输出丢失的Stage给DAGScheduler

喜欢就点赞评论+关注吧



感谢阅读，希望能帮助到大家，谢谢大家的支持！