spark 自定义 accumulator

默认的accumulator 只是最简单的 int/float

有时候我需要一个map来作为accumulator 这样,就可以处理 <string, int>类型的计数了.

此外我还需要这个map 的key 可以在超出一定时间后自动删除,类似于 Redis 的 expiry, 然后还要知道expire的是哪些key. 

这里就记录一下一些有用的links.

Ref:

https://stackoverflow.com/questions/6845543/map-based-cache-with-expiration-and-soft-values

https://gist.github.com/fedragon/b22e5d1eee4803c86e53 把hashmap 改成accumulator实例代码

原文地址:https://www.cnblogs.com/mashuai-191/p/13671945.html