Spark Streaming消费kafka消息一次性积压太多内存溢出，调整消费批次参数控制

1  增加参数 来控制消费次数 ，根据情况选择合适的参数即可，我这里修改为了10000.

   不设置的话，默认是拉取全部的数据，有可能引起内存溢出或者任务失败等问题。

.config("spark.streaming.kafka.maxRatePerPartition", 10000)

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/QuestionsZhang/p/13885548.html