streaming和kafka的两种集成方式
1、有receiver
2、无receiver,直接流
消费策略
1、位置策略:控制消费者在哪些节点
首选一致性:多用,在所有执行器上均匀分布分区
首选broker:执行器和broker在同一节点,优先调度leader分区
首选固定:如果分区间有严重的数据倾斜,为分区指定位置调度
2、消费策略
Subscribe:订阅指定主题集合
SubscribePattern
Assign:指定分区集合,含索引
消费语义:
1、只一次
将偏移量保存到支持事务的数据库中
2、至少一次
先消费,后提交
3、最多一次
先提交后消费