spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)

spark 创建分区

val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))

val input = sc.parallelize(scores,3)   #这里创建了3个分区

查看分区数:

input.partitions.size

查看分区的内容和情况

input.glom().collect()

原文地址:https://www.cnblogs.com/spicy/p/9722977.html