Spark学习---常见的RDD转和行动操作

  • 常见的RDD转化操作

    对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作

函数名 目的 示例 结果
map() 将函数应用于RDD中的每个元素,将返回值构成新的RDD rdd.map(x =x + 1) {2,3,4,4}
flatMap() 将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD。通常用来切分单词 rdd.flatMap(x=>x.to(3)) {1,2,3,2,3,3,3}
filter() 返回一个由通过传给filter()的函数的元素组成的RDD rdd.filter(x=>x!=1) {2,3,3}
distinct() 去重 rdd.distinct() {1,2,3}
sample(withReplacement,fraction,[seed]) 对RDD采样,以及是否替换 rdd.sample(false, 0.5) 非确定的
原文地址:https://www.cnblogs.com/xyliao/p/6388100.html