Kafka集群

2、kafka副本集

kafka副本集是指将日志复制多份

kafka可以为每个Topic设置副本集

Kafka可以通过配置设置默认副本集数量。

3、集群概念介绍

Broker: 一般指Kafka的部署节点

Leader: 用于处理消息的接收和消费等请求。

Follower:主要用于备份消息数据。

Kafka拓扑结构图:

4、Kafka节点故障

Kafka与zookeeper心跳未保持视为节点故障。

follower消息落后leader太多也视为节点故障。(如leaer有10000条,follow二有9000条,相差1000条,任务是故障状态)

kafka会对故障节点进行移除。

5、kafka节点故障处理

kafka基本不会因为节点故障而丢失数据

kafka的语义担保也很大程度上避免数据丢失。

kafka会对消息进行集群内平衡,减少消息在某个节点热度过高。

6、kafka集群之Leader选举

kafka并没有采用多数投票来选举leader

kafka会动态维护一组leader数据的副本(ISR)

kafka会在ISR中选择一个速度比较快的设为leader

Leader选举配置建议

禁用“unclean leader"选举

手动指定最小ISR

作者:Work Hard Work Smart
出处:http://www.cnblogs.com/linlf03/
欢迎任何形式的转载,未经作者同意,请保留此段声明!

原文地址:https://www.cnblogs.com/linlf03/p/15371192.html