Backpressure & Elastic Scaling

 

 

spark.streaming从不稳定到稳定状态,解决数据量接收数据时突然变大,使得无法及时处理数据,稳定性得到保证
开启方式:
spark.streaming.backpressure.enabled = true

  

Elastic Scaling(资源动态分配)

Spark Batch Application 动态的决定这个application中需要多少个Executors
1、当一个Executor空闲的时候,将这个Executor杀掉,不浪费过多的集群资源浪费

 2、当task太多的时候,动态的启动Executors(对资源的有效利用)

从Spark2.0开始有这个功能
打开配置: spark.streaming.dynamicAllocation.enabled = true

  

原文地址:https://www.cnblogs.com/tesla-turing/p/11488323.html