Kafka操作指令

Kafka偏移量查看:
/usr/lib/hdh/kafka/bin/kafka-consumer-offset-checker.sh --group meta-group --zookeeper localhost:2181 --topic topicName
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group vsp-batch-connector --zookeeper localhost:2181 --topic topicName


Kafka生产数据:
/usr/lib/hdh/kafka/bin/kafka-console-producer.sh --broker-list 10.17.139.168:9092,10.17.139.165:9092,10.17.139.166:9092 --topic topicName

Kafka数据消费:
/usr/lib/hdh/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topicName --from beginning

Kafka主题查看:
/usr/lib/hdh/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

Kafka主题详情查看:
/usr/lib/hdh/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
leader:负责处理消息的读和写,leader是从所有节点中随机选择的.
replicas:列出了所有的副本节点,不管节点是否在服务中.
isr:是正在服务中的节点.

创建主题:
/usr/lib/hdh/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic topicName

Kafka删除主题:
/usr/lib/hdh/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic
delete.topic.enable=true

启动Kafka:
/usr/lib/hdh/kafka/bin/kafka-server-start.sh -daemon /etc/hdh/kafka/server.properties

问:Kafka异步API发送会丢数据?
答:不是的。在调用完发送API后不要立刻结束线程,否则,未发送的数据会丢失。也可以使用回调确认数据发送成功后再结束线程。

原文地址:https://www.cnblogs.com/jinniezheng/p/6375734.html