032 Spark容错特性

1.spark容错主要分为两个方面

  其一是集群

  再者为spark的应用程序。

  

2.Driver

  

  

  重要补充:  

    driver宕机:
      Spark On Yarn:总之,要重启
        client:只能重启job
        cluster:类似于MR的ApplicationMaster
      Spark On Standalone:不太一样
        client:只能重启
        cluster:如果没给下面的参数,就需要重启
          --supervise:当driver执行失败的时候,会自动重启

3.Executor

  

  

4.Task

  

5.在程序中应用(local模式)

  

  

原文地址:https://www.cnblogs.com/juncaoit/p/6542902.html