Spark大数据分析 课件 4.4 RDD之间的依赖关系.pptx

RDD之间的依赖关系

目录/Contents01RDD之间的依赖关系

RDD之间的依赖关系01

RDD之间的依赖关系RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrowdependency）和宽依赖（widedependency）。

RDD之间的依赖关系窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。总结：窄依赖我们形象的比喻为独生子女。1、窄依赖

RDD之间的依赖关系宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition。总结：宽依赖我们形象的比喻为超生。2、宽依赖

RDD之间的依赖关系RDD只支持粗粒度转换，即只记录单个块上执行的单个操作。将创建RDD的一系列Lineage（即血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。3、Lineage（血统）

感谢大家的聆听