Kafka的基础原理

一、Kafka的基础特点

1、消息系统有两种模型(队列和发布订阅)。kafka使用消费者组统一了上述的两种模型。

同一个消费者组内的消费者之间是队列模型。不同的消费者组之间是订阅模型。

二、kafka中zookeeper的作用

1、管理broker和consumer

  zookeeper用来存储kafka集群的元数据信息

2、不管理producer

三、kafka的生产者流程  

在正常情况下,Kafka中的每个Topic都会有很多个分区,每个分区又会存在多个副本。在这些副本中,存在一个leader分区,而剩下的分区叫做 follower,所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候,必须先找到对应分区的Leader及其所在的Broker地址,这样才可以进行后续的操作。本文将要介绍的就是 Kafka 是如何找到 leader 分区的。

由于Producer和Consumer都只会与Leader角色的分区副本相连,所以kafka需要以集群的组织形式提供主题下的消息高可用。kafka支持主备复制,所以消息具备高可用和持久性。

生产者客户端也可以配置某种算法用来规划消息发往那个partiton。

四、kafka的消费者流程

 五、kafka的controller

kafka会从所有的broker中选取一个broker作为controller。

--------------------------------------------------------------------------------------------------------------------------------------------------

消息没有健时,通过轮询方式进行负载均衡;消息有健时,根据分区语义确保相同键的消息总是发送到同一个分区。

生产者和消费者都可以批量操作

生产者的ISR机制(最小同步副本数+acks=all)

生产者序列化器、分区器和记录搜集器

参考文献:

kafka源码分析:https://www.jianshu.com/p/aa274f8fe00f

kafka生产者:https://www.jianshu.com/p/4297ad291f1a

kafka消费者:https://www.jianshu.com/p/de95656373c1?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

kafka如何寻找leader分区:https://blog.csdn.net/b6ecl1k7BS8O/article/details/80164679

kafka设计原理:https://www.cnblogs.com/likehua/p/3999538.html

kafka的配置:https://www.cnblogs.com/sodawoods-blogs/p/8969513.html

kafka消息系统:https://www.cnblogs.com/cyfonly/p/5954614.html

kafka的原理和特性:https://yuanhsh.iteye.com/blog/2202880

kafka的元数据管理:https://blog.csdn.net/bingdianone/article/details/88555490#ZK_1

kafka知识点详解:https://www.cnblogs.com/zhangwuji/p/9491190.html

原文地址:https://www.cnblogs.com/erdanyang/p/11063539.html