spark调优（二）------合理调节作业中的并行度

原理介绍：

　　并行度：其实就是指的是，spark作业中，各个stage的task数量，也代表了spark作业做得各个阶段的stage的并行度

设置参数：

　　spark.default.parallelism 官网推荐 此参数设置成cpu core数量的2~3倍，比如150个cpu core，分配了150个task，那么这个参数基本要设置为300~500

　　

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/SupperMan/p/9035484.html