消息队列Kafka学习记录

Kafka其实只是众多消息队列中的一种,对于Kafka的具体释义我这里就不多说了,详见:http://baike.baidu.com/link?url=HWFYszYuMdP_lueFH5bmYnlmH--SlsarbzE1CcfMi9JqeQBR77jCu30MubmAyBqqOSSZy9qfnrp5y5a_8wYota

想要下载Kafka可以直接上官网:http://kafka.apache.org/ (强烈建议一定要上官网下载,其它地方下载的可能有问题)

Kafka下载成功之后,在libs文件夹下面就是相关的jar包,如果使用Java开发就可以直接引入项目即可。同时在bin文件夹下面就是运行Kafka所需要的文件,Windows里面表示在Windows上面运行所需要的文件。相关运行的命令如下:

//跳转到指定目录,必须跳转到Kafka目录才能运行后面的命令
cd C:softkafka_2.10-0.8.2.2

//启动zookeeper
binwindowszookeeper-server-start.bat configzookeeper.properties
//启动server。注意和启动zookeeper的先后顺序,同时这两个启动项需要分别在dos下运行
binwindowskafka-server-start.bat configserver.properties

//创建一个主题 topic
binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

//查看所有创建的主题
binwindowskafka-topics.bat --list --zookeeper localhost:2181

//开始消费topic
binwindowskafka-console-consumer.bat --zookeeper localhost:2181 --topic mytest --from-beginning

//生产数据
binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic mytest

这是通过服务器直接操作kafka的常用命令,而Java调用Kafka除了引用上面提到的jar包之外就是编码了,具体编码可参考:http://www.cnblogs.com/liuming1992/p/6432626.html

Kafka中有很多的概念,比如groupid,partitions,topic等等。在使用之前一定要把这些概念搞清楚了才能写出可靠的代码。


上面都是Windows的相关命令,下面是Linux的命令

//跳转到指定目录,必须跳转到Kafka目录才能运行后面的命令
cd /usr/local/kafka

//启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
//启动server。注意和启动zookeeper的先后顺序,同时这两个启动项需要分别在dos下运行(可开启两个界面)
bin/kafka-server-start.sh config/server.properties

//创建一个主题 topic
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

//查看所有创建的主题
./bin/kafka-topics.sh --list --zookeeper localhost:2181

//开始消费topic
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

//生产数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
原文地址:https://www.cnblogs.com/duanjt/p/6901997.html