1、前置知识：
（1）sc.defaultMinPartitions
sc.defaultMinPartitions=min(sc.defaultParallelism,2)
也就是sc.defaultMinPartitions只有两个值1和2，当sc.defaultParallelism>1时值为2，当sc.defaultParallelism=1时，值为1
上面的公式是在源码里定义的（均在类SparkContext里）：
def defaultMinPartitions: Int = math.min(defaultParallelism, 2) def defaultParallelism: Int = { assertNotStopped() taskScheduler.defaultParallelism }
（2）sc.defaultParallelism
a、首先可通过spark.default.parallelism设置sc.defaultParallelism的值
- 在文件中配置
在文件spark-defaults.conf添加一行
spark.default.parallelism=20
验证：
在spark-shell里输入sc.defaultParallelism，输出结果为20。
- 在代码中配置
val spark = SparkSession.builder() .appName("TestPartitionNums") .master("local") .config("spark.default.parallelism", 20) .getOrCreate() val sc = spark.sparkContext println(sc.defaultParallelism) spark.stop
b、sc.defaultParallelism 没有配置时候，会有默认值
- spark-shell：spark-shell里的值等于cpu的核数，比如我的windows的cpu的核数为
再比如测试机的核数为8。
- 指定master为local：在spark-shell里通过–master local和在代码里通过.master(“local”)的结果是一样的，这里以spark-shell为例当master为local时，值为1，当master为local[n]时，值为n
- master为local[*]和不指定master一样，都为cpu核数
- master为yarn模式时为分配的所有的Executor的cpu核数的总和或者2，两者取最大值，将2.1.2的代码的master注释掉并打包，然后用下面的脚本执行测试。
test.sh
spark-submit --num-executors $1 --executor-cores 1 --executor-memory 640M --master yarn --class com.dkl.leanring.spark.TestPartitionNums spark-scala_2.11-1.0.jar
2、HDFS文件创建RDD时的默认分区数：
这里及后面讨论的是rdd和dataframe的分区，也就是读取hdfs文件并不会改变前面讲的sc.defaultParallelism和sc.defaultMinPartitions的值。
（1）sc.textFile()： rdd的分区数 = max(hdfs文件的block数目, sc.defaultMinPartitions)
- 测试大文件（block的数量大于2）：上传了一个1.52G的txt到hdfs上用来测试，其中每个block的大小为默认的128M，那么该文件有13个分区* 1.52*1024/128=12.16。
用下面代码可以测试读取hdfs文件的分区数
val rdd = sc.textFile("hdfs://ambari.master.com/data/egaosu/txt/20180416.txt")
rdd.rdd.getNumPartitions
这种方式无论是sc.defaultParallelism大于block数还是sc.defaultParallelism小于block数，rdd的默认分区数都为block数。
* 注：之所以说是默认分区，因为textFile可以指定分区数，sc.textFile(path, minPartitions)，通过第二个参数可以指定分区数
sc.defaultMinPartitions大于block数
sc.defaultMinPartitions小于block数
当用参数指定分区数时，有两种情况，当参数大于block数时，则rdd的分区数为指定的参数值，否则分区数为block数。
- 测试小文件（block数量等于1）：默认分区数为sc.defaultMinPartitions，下面是对应的hdfs文件：
将上面的hdfs路径改为：hdfs://ambari.master.com/tmp/dkl/data.txt，结果：
当用参数指定分区数时，rdd的分区数大于等于参数值，本次测试为等于参数值或参数值+1。
（2）读取hive表创建的DataFrame的分区数：
hdfs文件的block的数目为10（2*5）。
//切换数据库 spark.sql("use route_analysis") //读取该数据库下的egaosu表为df val df = spark.table("egaosu") //打印df对应的rdd的分区数 df.rdd.getNumPartitions
测试发现，当sc.defaultParallelism大于block时，df的分区是等于sc.defaultParallelism，当小于block时，df的分区数介于sc.defaultParallelism和block之间，至于详细的分配策略，我还没有查到~
用spark.sql(“select * from egaosu”)这种方式得到df和上面的分区数是一样的
3、从代码里的内部数据集创建RDD时的默认分区数：
（1）sc.parallelize()创建RDD：默认分区数等于sc.defaultParallelism，指定参数时分区数值等于参数值。
（2）spark.createDataFrame(data)创建DataFrame：当data的长度小于sc.defaultParallelism，分区数等于data长度，否则分区数等于sc.defaultParallelism。