kafka集群安装配置

1.下载安装包

2.解压安装包

3.进入到kafka的config目录修改server.properties文件

进入后显示如下:

修改log.dirs,基本上大部分都是默认配置

 kafka依赖zookeeper保存一些meta信息,所以这些需要配置

分发安装包到其他节点上

scp -r ....

再次修改配置文件(重要)

依次修改各服务器上配置文件的的broker.id,分别是0,1,2不得重复。

启动集群

依次在各节点上启动kafka

bin/kafka-server-start.sh  config/server.properties

 执行命令的情况如下:

 

5.4Kafka常用操作命令

查看当前服务器中的所有topic

bin/kafka-topcs.sh --list --zookeeper  zk01:2181

创建topic

./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first

删除topic

sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

通过shell命令发送消息

kafka-console-producer.sh --broker-list kafka01:9092 --topic first1

通过shell消费消息

sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1

l 查看消费位置

sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

查看某个Topic的详情

sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181

原文地址:https://www.cnblogs.com/wzlbigdata/p/8361846.html