kafka浅谈

关键词

producer       生产者

broker          缓存代理

consumer     消费者

partition       分区

topic            主题

group           群组

特点

1 高吞吐量

  写入消息速度:25万/s

  处理消息速度:55万/s

2 支持持久化操作,基于硬盘的吞吐,没有采用Cache,支持批量备份

3 支持分布式集群部署,易拓展,无需重启即可拓展生产者、消费者、缓存代理

4 消息处理状态存在消费者端,非kafka服务端。当一个消费者挂了后,其他消费者重新平衡

订阅Topic共享消息

  一个消息需要多Consumer共同消费,需要为订阅了相同的Topic的Consumer分配不同的Group,不同Group可以共同消费同样的消息

Consumer配置 

   每个Topic对应的Partition数量至少应该等于消费者数量,保证消费者都可以消费到该Topic 

 Producer--kafka Broker--Consumer的关系

Producer--Topic--Partition--Consumer的关系

原文地址:https://www.cnblogs.com/tianmh/p/9817109.html