RDD基本操作之Action

Action介绍

在RDD上计算出来一个结果
把结果返回给driver program或保存在文件系统,count(),save

常用的Action


reduce()

接收一个函数,作用在RDD两个类型相同的元素上,返回新元素。
可以实现,RDD中元素的累加,计数,和其它类型的聚集操作。
举例:

val rdd = sc.parallelize(Array(1,2,3,3))
rdd.collect()

collect()

遍历整个RDD,想driver program返回RDD的内容
需要单机内存能容纳下(因为数据要拷贝给driver,一般是测试的时候使用)
大数据的时候,使用saveAsTextFile() action等。

take(n)

返回RDD中的n个元素(同时尝试访问最少的的partitions)
返回结果是无序的,一般为测试时候使用

top(n)

返回排序后的前n个,(根据RDD中的数据比较器)

RDD的特性






原文地址:https://www.cnblogs.com/twodoge/p/10016025.html