Kafka常用脚本
在Kafka安装目录下（$KAFKA_HOME/bin），提供了很多内置的脚本供我们使用。使用脚本可以测试Kafka的大多数功能，下面我们就脚本的使用作出说明。
- 启动broker
bin/kafka-server-start.sh脚本提供了启动broker的功能。
前台启动：
> bin/kafka-server-start.sh config/server.properties
后台启动：
> bin/kafka-server-start.sh -daemon config/server.properties
- 停止broker
bin/kafka-server-stop.sh脚本提供了停止broker的功能。
> bin/kafka-server-stop.sh
- 创建topic
bin/kafka-topic.sh脚本提供了创建topic的功能。创建topic时，需要指定两个参数：- 分区数量
- 副本数量
注意，副本数量最多不能超过当前集群中broker节点的数量。
下面创建一个名为test的topic，具有3个分区，副本数量为2。
> bin/kafka-topics.sh --zookeeper localhost:2181 --create --partitions 3 --replication-factor 2 --topic test
- 查看topic列表
bin/kafka-topic.sh脚本提供了查看topic列表的功能。通过–list参数即可查看当前集群所有的topic列表。
> bin/kafka-topics.sh --zookeeper localhost:2181 --list
__consumer_offsets
test
- 查看某个topic的详细信息
bin/kafka-topic.sh脚本提供了查看某个topic详细信息的功能。通过–describe参数和–topic参数指定topic名称即可。
> bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
Topic:test PartitionCount:3 ReplicationFactor:2 Configs:
Topic: test Partition: 0 Leader: 2 Replicas: 2,0 Isr: 2,0
Topic: test Partition: 1 Leader: 0 Replicas: 0,1 Isr: 0,1
Topic: test Partition: 2 Leader: 1 Replicas: 1,2 Isr: 1,2
- 删除topic
bin/kafka-topic.sh脚本提供了删除topic的功能。通过–delete参数和–topic参数指定topic名称即可。
将名称为test的topic删除：
> bin/kafka-topics.sh --zookeeper localhost:2181/kafka --delete --topic test
Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
注意，broker配置中必须设置delete.topic.enable=true，否则删除操作不会生效。
- 命令行生产者
bin/kafka-console-producer.sh脚本能够通过命令行输入向指定的topic中发送数据。
向名称为test的topic中发送3条数据：
> bin/kafka-console-producer.sh --broker-list hostname:9092 --topic test
This is a message
This is another message
hello kafka
^C
- 命令行消费者
bin/kafka-console-consumer.sh脚本能够消费topic中的数据并打印到控制台。
消费名称为test的topic中的数据：
> bin/kafka-console-consumer.sh --bootstrap-server hostname:9092 --topic test --from-beginning
This is a message
This is another message
hello kafka
^CProcessed a total of 3 messages
注意，–from-beginning参数表示从topic的最开始位置进行消费，如果没有指定该参数，表示从末尾开始消费，只有当启动消费者后，有新的数据写入，才能够显示到控制台。
- 查看消费组
bin/kafka-consumer-groups.sh脚本能够查看集群中消费组的信息。通过–list参数能够列出当前消费组列表。
> bin/kafka-consumer-groups.sh --bootstrap-server hostname:9092 --new-consumer --list
console-consumer-54336
通过–describe参数可以查看消费组的消费详情：
> bin/kafka-consumer-groups.sh --bootstrap-server company01:9092 --new-consumer --describe --group console-consumer-54336
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
test 0 1 1 0 consumer-1-860f59b3-ebe9-4cda-a074-d108b1fec7bf /192.168.100.109 consumer-1
test 1 1 1 0 consumer-1-860f59b3-ebe9-4cda-a074-d108b1fec7bf /192.168.100.109 consumer-1
test 2 1 1 0 consumer-1-860f59b3-ebe9-4cda-a074-d108b1fec7bf /192.168.100.109 consumer-1
CURRENT-OFFSET表示消费者当前消费到该分区的偏移量。
LOG-END-OFFSET表示当前分区最后的偏移量。
LAG表示消费者“落后”的消费进度。