3、总结

streaming和kafka的两种集成方式

  1、有receiver

  2、无receiver,直接流

消费策略

  1、位置策略:控制消费者在哪些节点

    首选一致性:多用,在所有执行器上均匀分布分区

    首选broker:执行器和broker在同一节点,优先调度leader分区

    首选固定:如果分区间有严重的数据倾斜,为分区指定位置调度

  2、消费策略

    Subscribe:订阅指定主题集合

    SubscribePattern

    Assign:指定分区集合,含索引

消费语义:

  1、只一次

    将偏移量保存到支持事务的数据库中

  2、至少一次

    先消费,后提交

  3、最多一次

    先提交后消费

渐变 --> 突变
原文地址:https://www.cnblogs.com/lybpy/p/9851388.html