spark笔记之RDD的依赖关系
2019-11-12 10:48
1451 查看
6.1RDD的依赖
RDD和它依赖的父RDD的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。
6.2窄依赖
窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用
总结:窄依赖我们形象的比喻为独生子女
6.3宽依赖
宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition
总结:宽依赖我们形象的比喻为超生
6.4Lineage(血统)
RDD只支持粗粒度转换,即只记录单个块上执行的单个操作。将创建RDD的一系列Lineage(即血统)记录下来,以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为,当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区。
相关文章推荐
- spark源码阅读笔记RDD(六) RDD的依赖关系
- Spark2.x学习笔记:11、RDD依赖关系与stage划分
- spark(13)-RDD的依赖关系(corse22)
- Spark RDD的依赖关系
- RDD的依赖关系笔记
- Spark RDD 的宽依赖和窄依赖 -- (视频笔记)
- Spark RDD依赖关系(Dependencies)
- Spark之RDD依赖关系及DAG逻辑视图
- Spark RDD概念学习系列之rdd的依赖关系彻底解密(十九)
- spark中RDD 的依赖关系
- Spark RDD概念学习系列之rdd的依赖关系彻底解密(十九)
- Spark学习笔记——RDD编程
- Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系
- Spark 中的宽依赖和窄依赖、RDD
- Spark学习笔记 --- Spark中宽依赖(Wide deps)与窄依赖(Narrow deps)
- Spark RDD 窄依赖研究
- Spark集群中,集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系
- TensorFlow学习笔记9——TensorFlow中具有依赖关系的多个op多次执行的问题
- Spark学习笔记(二):RDD常用操作
- 第14课:spark RDD解密学习笔记