Spark 向数据库导出数据时,如何避免主键重复的问题

有一个需求是: 最近一小时内商品的点击次数

方案是用SparkStreaming 来做,利用窗口可以轻松达到目的,然后再将结果存入数据库,可问题就出现了,因为商品id为主键,这是不能重复的,如何更新呢?这就要用到以下的sql

"insert into ads_hour values(?, ?) on duplicate key update count=?"

on duplicate key update  意为  如果主键存在则更新

原文地址:https://www.cnblogs.com/yangxusun9/p/12919163.html