Spark剖析-宽依赖与窄依赖、基于yarn的两种提交模式、sparkcontext原理剖析

Spark剖析-宽依赖与窄依赖、基于yarn的两种提交模式、sparkcontext原理剖析

一、宽依赖与窄依赖

在这里插入图片描述

二、基于yarn的两种提交模式深度剖析

Spark的三种提交模式：

  1. Spark内核架构中，其实就是第一种模式，standalone模式，基于Spark自己的Master-Worker集群。
  2. 第二种，基于YARN的yarn-cluster模式。
  3. 第三种，基于YARN的yarn-client模式。

如果要切换到第二种和第三种模式，将用于提交spark应用程序的spark-submit脚本，加上-master参数，设置为yarn-cluster或者yarn-client即可。

在这里插入图片描述

2.1 Standalne-client

在这里插入图片描述

2.2 Standalone-cluster

在这里插入图片描述

三、sparkcontext原理剖析

在这里插入图片描述

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/aixing/p/13327425.html