本文记录搭建kafka搭建过程。
一、硬件机器介绍
192.168.183.195 master-node
192.168.183.194 data-node1
192.168.183.196 data-node2
二、集群搭建
master-node操作如下：
下载kafka包
wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz
解压
tar -zxvf kafka_2.11-2.2.0.tgz -C /usr/local
配置：
进入 /usr/local/kafka_2.11_2.2.0
vim config/server.properties
修改：
broker.id = 1 //分布式的部署，每个broker的id不能相同；
listeners=PLAINTEXT://master-node:9092 //这里的配置规范是listeners = listener_name://host_name:port，因此你要确定你的host_name，可以vim /etc/hostname看到
zookeeper.connect=master-node:2181,data-node1:2181,data-node2:2181 //zookeeper的连接地址，关于zookeeper集群的搭建可以查看https://www.cnblogs.com/ldsggv/p/11006184.html
到这里master-node机器配置完成，下面可以通过scp命令把/usr/local/kafka_2.11_2.2.0传输到其他俩台机器，如果当前用户没有足够权限，可以scp kafka的按照包，然后安装上面的步骤再一次操作。
启动：
在三台机器上，进入kafka安装目录，执行
bin/kafka-server-start.sh config/server.properties
此时集群已经启动；
验证：
一、打开zkCli.sh；
执行 ls /
可以看到：
可以进入到/brokers/ids查看brokers的id
二、官网例子
1、创建topic
bin/kafka-topics.sh --create --bootstrap-server master-node:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic
2、bin/kafka-topics.sh --describe --bootstrap-server master-node:9092 --topic my-replicated-topic 查看topic信息
3、启动生产者
bin/kafka-console-producer.sh --broker-list master-node:9092 --topic my-replicated-topic
可以输入一些测试信息
4、启动消费者
bin/kafka-console-consumer.sh --bootstrap-server master-node:9092 --from-beginning --topic my-replicated-topic
这里的--from-begining代表从最开始消息消费。
如果上面四个步骤顺利完成，那么kafka集群搭建完成，后续的配置，优化可以参考官网的配置说明。