CompactBuffer spark

spark的groupByKey算子结果按key进行分组,生成了一组CompactBuffer结构的数据。CompactBuffer并不是scala里定义的数据结构,而是spark里的数据结构,它继承自一个迭代器和序列,所以它的返回值是一个很容易进行循环遍历的集合

  val spark = SparkSession.builder().master("local").getOrCreate()
    val data=spark.sparkContext.parallelize(List((1,2),(2,3),(1,6),(2,1)))
    data.groupByKey().foreach(print)

  

原文地址:https://www.cnblogs.com/students/p/14206021.html