1.26学习总结:DStream无状态转换操作

一、学习视频

https://www.bilibili.com/video/BV1oE411s7h7?p=61

二、无状态转换操作

2.1  map(func):经过func函数操作后,转换成一个新的DStream

2.2  flatmap(func):经过func函数操作后,可以被映射为0个或多个输出项

2.3  filter(func):经过func函数操作后,只过滤出符合函数的DStream

2.4  repartition(num):通过创建更多或者更少的分区来改变DStream的并行度

2.5 reduce(func):利用函数func聚集源DStream每个RDD的元素,返回一个包含新的单元素的RDDs的DStream

2.6 reduceByKey(func,[numTask]):根据func将key聚集起来,返回一个新的键值对DStream

2.7 join(otherStream,[numTask]):将两个有相同key的DStream进行连接操作,key不变,value为一个列表

2.8 cogroup(otherStream,[numTask]):将两个拥有相同key的DStream返回一个元组,元组内容(key,Seq[v],Seq[w])

2.9 transform(func):将DStream中的每一个RDD进行转换,转化后的RDD组合成一个新的DStream

原文地址:https://www.cnblogs.com/wangzhaojun1670/p/14391826.html