1.13学习总结:键值对RDD

一、学习视频

https://www.bilibili.com/video/BV1oE411s7h7?p=31

二、键值对RDD的创建

使用map()函数,将读取的数据分割成键值对的形式

三、常用键值对RDD转换操作

1.reduceByKey(func) 

  使用func函数合并具有相同键的值

  

2.groupByKey()

  对具有相同键的值进行分组

  

  

3.keys()

  把pairRDD中的key返回形成一个新的RDD

  

 4.values()

  把pairRDD中的value返回形成一个新的RDD

5.sortByKey()

  返回一个根据键排序的RDD,默认参数True,按照升序排序,参数为False,按照降序排序

6.sortBy()

  

7.mapValues(func)

  对键值对中的每个value应用一个函数,key不变

  

 8.join()

  内连接,对于两个输入的(K1,V1),(K2,V2)只有两个键值对Key相同才输出,输出为(K,(V1,V2))的数据类型

  

原文地址:https://www.cnblogs.com/wangzhaojun1670/p/14339190.html