spark.streaming.kafka.maxRatePerPartition的理解

spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数。

假设此项设为1,批次间隔为10s,目标topic只有一个partition,则一次拉取的数据量为1*10*1=10。

若有不对的地方,请指正。

原文地址:https://www.cnblogs.com/144823836yj/p/11176962.html