Windows安装Kafka

下载地址:http://kafka.apache.org/downloads

我这里现在的是 kafka_2.13-2.6.0.tgz

注意:Kakfa依赖Zookeeper,所以需要正确安装好JDK和zookeeper。

一、单机模式

① 解压缩,然后新建一个空的logs文件夹

② 进入config目录,编辑 server.properties 文件

修改 log.dirs 属性值:

配置Zookeeper:

Kakfa不指定的话,按照默认9092。

③ 启动kafka

进入bin目录的windows文件夹,这里都是windows下运行的.bat命令脚本 。

为了方便,我们在新建一个start-kafka.bat的脚本文件(与bin文件夹同级),内容如下:

.inwindowskafka-server-start.bat .configserver.properties

双击start-kafka.bat即可(启动前记得先启动zookeeper)。

④ 创建topics

进入windows文件夹,然后”Shift+鼠标右键”点击空白处打开powershell命令提示窗口,执行命令:

.kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic monitorupload

⑤ 打开一个Producer

进入windows文件夹,然后”Shift+鼠标右键”点击空白处打开powershell命令提示窗口,执行命令:

.kafka-console-producer.bat --broker-list localhost:9092 --topic monitorupload

创建好下面的消费者后,就可用在上面这个生产者窗口输入信息了。

⑥ 打开一个Consumer

进入windows文件夹,然后”Shift+鼠标右键”点击空白处打开powershell命令提示窗口,执行命令:

.kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic monitorupload

⑦ 发送消息

以上打开的窗口不要关闭 

然后就可以在Producer控制台窗口输入消息了。在消息输入过后,很快Consumer窗口就会显示出Producer发送的消息

二、集群模式

① 解压后复制出3份,kafka-1、kafka-2、kafka-3,创建 log 目录存放消息日志

② 修改config 文件夹下的 server.properties 

# kafka-1

#broker 编号,集群内必须唯一
broker.id=1
#host 地址
host.name=127.0.0.1
#端口
port=9092
#消息日志存放地址
log.dirs=C:installkafkakafka_2.13-2.6.0logs
#ZooKeeper 地址,多个用,分隔
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

# kafka-2

# broker 编号,集群内必须唯一
broker.id=2
# host 地址
host.name=127.0.0.1
# 端口
port=9093
# 消息日志存放地址
log.dirs=C:\install\kafkaCluster\kafka_2.13-2.6.0-2\logs
# ZooKeeper 地址,多个用,分隔
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

# kafka-3

# broker 编号,集群内必须唯一
broker.id=3
# host 地址
host.name=127.0.0.1
# 端口
port=9094
# 消息日志存放地址
log.dirs=C:\install\kafkaCluster\kafka_2.13-2.6.0-3\logs
# ZooKeeper 地址,多个用,分隔
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

③ 启动Kafka

分别通过 cmd 进入每个 Kafka 实例,输入命令启动:

binwindowskafka-server-start.bat .configserver.properties

或新建start-kakfa.bat,双击bat,内容如下:

.inwindowskafka-server-start.bat .configserver.properties

问题:Windows CMD命令行解释器【输入行太长。 命令语法不正确】

解决方案:

① 使用较短的文件夹和文件的名称

② 减少文件夹树的深度

我是把kakfa的安装目录移到最简单的C盘(别忘了修改config/server.properties里面的log.dirs的位置。):

④ 创建主题Topic

.inwindowskafka-topics.bat --create --zookeeper localhost:2181,localhost:2182,localhost:2183 --replication-factor 1 --partitions 1 --topic testTopic

⑤ 查看Topic列表

.inwindowskafka-topics.bat --list --zookeeper localhost:2181,localhost:2182,localhost:2183

⑥ 生产消息

.inwindowskafka-console-producer.bat --broker-list localhost:9092,localhost:9093,localhost:9094 --topic testTopic

⑦ 消费消息

.inwindowskafka-console-consumer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic testTopic

三、kakfatool工具的使用

https://www.cnblogs.com/miracle-luna/p/11299345.html

时刻与技术进步,每天一点滴,日久一大步!!! 本博客只为记录,用于学习,如有冒犯,请私信于我。
原文地址:https://www.cnblogs.com/myitnews/p/13748746.html