spark笔记之DAG的生成
2019-10-10 16:19
246 查看
什么是DAG
DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就形成了DAG，根据RDD之间依赖关系的不同将DAG划分成不同的Stage(调度阶段)。对于窄依赖，partition的转换处理在一个Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark 概念学习系列之DAG的生成（十一）
- 事件生成JOB调优笔记(spark streaming)
- Spark学习笔记（6）源码解读之Job动态生成和深度思考
- Spark DAG的生成
- spark 源码分析之十九 -- DAG的生成和Stage的划分
- s通过案例彻底详解spark中DAG的逻辑视图的产生机制和过程 -- （视频笔记）（重点）
- hibernate笔记（三） Hibernate标识符属性(主键)生成策略全析
- OpenCV学习笔记（四十七）——VideoWriter生成视频流highgui
- Andrew Ng机器学习笔记（五）——生成学习算法和朴素贝叶斯算法
- spark 笔记
- Spark SQL 与 Hive 的区别简介【学习笔记】
- spark 笔记
- Spark学习笔记（六）
- Spark源码学习笔记7-HeartbeatReceiver
- Maven学习笔记（八）Maven的入门使用—5. 使用Archetype生成项目骨架
- Android中级学习笔记（三）之eclipse建完aidl文件后gen中没有生成相应的Java文件
- 《编程珠玑》笔记12 随机数生成
- spark平时的一些笔记
- [spark源码剖析]RDD相关源码阅读笔记
- Spark听课笔记 (3)