kafka无法消费数据

遇到一个问题,使用Python kafka客户端和kafka命令行都无法消费数据,但是在kafka命令行后面添加--partition 0后就可以消费数据。

bin/kafka-console-consumer.sh --topic eems_td_meter --from-beginning     --bootstrap-server 172.18.185.123:9092,172.18.185.124:9092  # 不能消费数据
bin/kafka-console-consumer.sh --topic eems_td_meter --from-beginning     --bootstrap-server 172.18.185.123:9092,172.18.185.124:9092 --partition 0  # 添加partiton参数后可以消费数据

原因在与offsets.topic.replication.factor的值在配置文件中大于了节点个数(两个节点,却将这个值设置为了3),

设定更大的复制因子可以确保更高的可用性。但是如果复制因子大于集群节点数,内部主题自动创建将会失败,直到集群大小符合这个复制因子的要求 (范围: 1 - 100)。

在修改

offsets.topic.replication.factor=1

之后,不用再指定分区信息就可以消费数据。

ref: https://stackoverflow.com/questions/34844209/consumer-not-receiving-messages-kafka-console-new-consumer-api-kafka-0-9

原文地址:https://www.cnblogs.com/buxizhizhoum/p/9599615.html