Kafka常用命令

- 依次在各节点上启动: kafka

  bin/kafka-server-start.sh config/server.properties 

- 查看当前服务器中的所有topic

  bin/kafka-topics.sh --list --zookeeper  hadoop01:2181

- 创建topic

  bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 3 --topic CustomerContacts

- 删除topic

  bin/kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic CustomerContacts

  需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

- 通过shell命令发送消息

  sh bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test

- 通过shell消费消息

  bin/kafka-console-consumer.sh --zookeeper hadoop01:2181 --from-beginning --topic test

- 查看消费位置

  bin/kafka-run-cla.ss.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

- 查看某个Topic的详情

  bin/kafka-topics.sh --topic test --describe --zookeeper hadoop01:2181

- 对分区数进行修改

  kafka-topics.sh --zookeeper  zk01 --alter --partitions 15 --topic  utopic

- 看当前topic的消费进度

   bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group nt1 --topic master5

- 查看分区的情况：

  bin/kafka-topics.sh --describe --zookeeper hadoop01:2181 --topic ConsumerAAAA

0.9版本:

1:查看consumer group列表

查看consumer group列表有新、旧两种命令，分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表，因而需要区分指定bootstrap--server和zookeeper参数：

查看新版(信息保存在broker中)consumer列表：
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server hadoop01:9092 --list

老版(信息保存在zookeeper中)consumer列表：
bin/kafka-consumer-groups.sh --zookeeper hadoop01:2181 --list

2：查看特定consumer group 详情

同样根据新/旧版本的consumer，分别指定bootstrap-server与zookeeper参数:

新版本
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server hadoop01:9092 --group CustomerContacts --describe

旧版本
bin/kafka-consumer-groups.sh --zookeeper hadoop01:2181 --group CustomerContacts --describe

删除 consumers

原因: 重置 offset, 或者是强迫症想清空不用的 consumer

操作:

进入控制台 bin/zookeeper-shell.sh localhost:2181

查看所有消费者 ls /consumers

fuck rmr /consumers/hangou

再查看 没了 ls /consumers

删除 topics

原因: 腾出空间

操作:

• 物理删除数据

进入 server.properties 里配置的数据目录 log.dirs=/data/kafka-logs cd /data/kafka-logs/

删除对应 topic 目录, 配置了多少分区这就有多少目录 rm -rf lion_sql-log*

• 删除 zookeeper 里的记录

进入控制台 bin/zookeeper-shell.sh localhost:2181

查看当前的所有 topics, 发现刚删除的 topics 还在这里躺着 ls /brokers/topics/

fuck you rmr /brokers/topics/lion_sql-log ,再查看 没了 ls /brokers/topics