Spark RDD的依赖关系
2018-01-20 11:54
323 查看
RDD和它依赖的父RDD（s）的关系有两种不同的类型即
窄依赖（narrow dependency）
宽依赖（wide dependency）。
窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用
总结：窄依赖我们形象的比喻为独生子女
宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition
总结：窄依赖我们形象的比喻为超生
窄依赖（narrow dependency）
宽依赖（wide dependency）。
窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用
总结：窄依赖我们形象的比喻为独生子女
宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition
总结：窄依赖我们形象的比喻为超生
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark（13）-RDD的依赖关系（corse22）
- Spark RDD概念学习系列之rdd的依赖关系彻底解密（十九）
- Spark RDD概念学习系列之rdd的依赖关系彻底解密（十九）
- spark源码阅读笔记RDD（六） RDD的依赖关系
- Spark2.x学习笔记：11、RDD依赖关系与stage划分
- Spark RDD依赖关系（Dependencies）
- RDD的依赖关系
- Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系
- Spark RDD概念学习系列之RDD的依赖关系（宽依赖和窄依赖）（三）
- Spark RDD的依赖解读
- Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系
- Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解
- 在Spark集群中，集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系？？
- Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解
- rdd依赖关系、stage划分、stage任务执行揭秘
- Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系
- Spark RDD概念学习系列之RDD的依赖关系（宽依赖和窄依赖）（三）
- Spark基础入门（二）--------DAG与RDD依赖
- 大数据IMF传奇行动绝密课程第22课：RDD的依赖关系彻底解密
- 在Spark集群中，集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系？？