Spark学习笔记 --- Spark中宽依赖（Wide deps）与窄依赖（Narrow deps）
2017-03-08 19:38
267 查看
宽依赖（wide dependency）：
宽依赖指的是每一个parent RDD 的 Partition会依赖同一个parent RDD的Partition使用。
窄依赖（narrow dependency）：
窄依赖是指每一个parent RDD 的 Partition最多被子RDD的一个Partition所使用。
如下图所示：
宽依赖指的是每一个parent RDD 的 Partition会依赖同一个parent RDD的Partition使用。
窄依赖（narrow dependency）：
窄依赖是指每一个parent RDD 的 Partition最多被子RDD的一个Partition所使用。
如下图所示：
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark学习笔记之二：宽依赖和窄依赖
- Spark学习笔记07：checkpoint，宽依赖窄依赖
- Spark源码学习笔记（随笔）-groupByKey()是宽依赖吗
- Spark2.x学习笔记：11、RDD依赖关系与stage划分
- Silverlight：Dependency Property(依赖属性)学习笔记
- WPF and Silverlight 学习笔记（十三）：依赖项属性和路由事件
- 31天重构学习笔记12. 分解依赖
- Silverlight：Dependency Property(依赖属性)学习笔记
- Silverlight学习笔记——依赖属性和路由事件
- ITCAST视频-Spring学习笔记（编码剖析Spring依赖注入的原理）
- EJB3.0学习笔记之四 依赖注入(dependency injection)
- 31天重构学习笔记12. 分解依赖
- WPF学习笔记三 依赖属性
- 31 天重构学习笔记12. 分解依赖
- 微软企业库4.1学习笔记（五）对象创建和依赖注入方法
- 微软企业库5.0学习笔记（五）引用企业库程序集及企业库的依赖
- Castle学习笔记----将Castle IOC引入项目开发中实现“依赖注入”
- 微软企业库4.1学习笔记（二）各功能之间的依赖关系以及对象创建
- 微软企业库4.1学习笔记（二）各功能之间的依赖关系以及对象创建
- 微软企业库5.0学习笔记（五）引用企业库程序集及企业库的依赖