kafka学习总结之集群部署和zookeeper

1、  集群部署

kafka集群的瓶颈主要在网络和磁盘上;kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败。

 

图 1 kafka流程图

2、  zookeeper在kafka中所起的作用

(1)记录kafka的节点(broker)信息,当有新的节点加入或者退出时,zookeeper会作相应的调整。

(2)记录group中消费的partition的最大偏移量,保证消息不会被重复消费和不被消费

(3)记录consumer信息和consumer消费的分区对应关系,主要是为了保证负载均衡(消息消费请求被均匀的分布到不同的消费者),和当有消息到时,提醒consumer进行消费。

原文地址:https://www.cnblogs.com/songxh-scse/p/6692334.html