kafka配置

官网:http://kafka.apache.org/

主要有3种安装方式:

1. 单机单broker

2. 单机多broker

3. 多机多broker

1. wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz

2. (可选,因为kafka自带zookeeper)wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz

配置ZOOKEEPER_HOME,然后bin下./zkServer.sh start即可启动zookeeper。

(多机zookeeper需额外新增conf下zoo.cfg)

3. 启动kafka

(可选)配置KAFKA_HOME,然后就可以用全局下启动命令

3.1 单机单broker

3.1.1 启动:kafka-server-start.sh config/server.properties

3.1.2 新建topic:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafka_topic_1

其中--replication-factor表示备份数量

--partitions表示分区数量

3.1.3 新建consumer:kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_topic_1 --from-beginning

3.1.4 新建producer:kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_topic_1

其中--broker-list表示了消息要推送的地址<ip:port>

然后开始console中输入message,在consumer console中就会有消息显示。

3.2 单机多broker

3.2.1 启动server1:

  kafka-server-start.sh config/server.properties

启动server2:

  cp server.properties server2.properties

  修改其中的broker.id=2, listeners=PLAINTEXT://:9093, log.dirs=/tmp/kafka-logs2

  kafka-server-start.sh config/server2.properties

启动server3:

  cp server.properties server3.properties

  修改其中的broker.id=3, listeners=PLAINTEXT://:9094, log.dirs=/tmp/kafka-logs3

  kafka-server-start.sh config/server3.properties

 

3.2.2 新建topic:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic kafka_topic_2

单机3个备份,3个分区

3.2.3 新建consumer:kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_topic_2 --from-beginning

3.2.4 新建producer:kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_topic_2

 //blabla自己测试消息发送

3.2.5 查看各个server状态

  kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_topic_2 

3.3 多机多broker

略 2333333333 

原文地址:https://www.cnblogs.com/xxx0624/p/5818986.html