lineage 世系 血缘 容错机制 DAG

当某个RDD的部分数据丢失时候,Saprk会根据记录的世系关系找到该RDD的父RDD以及更上级的RDD。只需要将该RDD依赖的上级RDD重新计算就可以将该RDD进行恢复。

Directed Acyclic Graph DAG  

RDD  的有向无环图构建过程,就是不停将Spark代码中刚一系列的RDD转化操作以世系关系的形式记录下来。

原文地址:https://www.cnblogs.com/rsapaper/p/9079046.html