kafka配合log_transfer读取消息的一次故障

故障问题:log_transfer消息无法正常从kafka读取消息。日志输出全部为空

1,排查过程;查看log_transfer进程是否正常,这是首要的关键,当然是要在主机上进行查看,如果进程正常执行,手动杀死进程,然后重启log_transfer服务,发现出现如下错误

2,查看日志,找到问题出现在kafka的topic上,如下图

 3,于是手动创建了项目中需要的l两个topic

# 创建topic值
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 10.1.4.160:2181 --replication-factor 2 --partitions 6 --topic CC_Log

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 10.1.4.160:2181 --replication-factor 2 --partitions 6 --topic Group_Hit_Log

# 查询topic值
/usr/local/kafka/bin/kafka-topics.sh --zookeeper 10.1.4.160:2181 --list

4,进入kafka的bin目录下,重启主从的kafka服务,这里先启动主节点的kafka,再启动从节点的kafka服务。

1. cd   /usr/local/kafka/bin/

2. ./kafka-server-start.sh -daemon ../config/server.properties

5,  这下重启主节点的log_transfer服务。OK!

原文地址:https://www.cnblogs.com/laogao123/p/11212212.html