请问各位大神,sparkStreaming有没有updateState这样的方法类似spark中的reduce(不通过key分组)?

[复制链接]
查看11 | 回复1 | 2021-1-27 05:58:21 | 显示全部楼层 |阅读模式
现在有一组数据数据(K,V),我想用sparkStream实现更新累加的功能,同时对k和v都做累加
但是发现sparkStreaming中只有updateStateBykey(与spark中reduceByKey对应),但是没有与spark中的reduce方法相对应的
请问各位大神有什么方便的解法,不用重新map数据。
分 -->
回复

使用道具 举报

千问 | 2021-1-27 05:58:21 | 显示全部楼层
提醒:sparkStreaming是开源的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
热门排行