Centos7.4环境下kafka集群的搭建

一、下载kafka安装包

下载路径http://kafka.apache.org/downloads

并上传到linux机器中

解压到指定目录:
tar -zxvf kafka2.11/ -C /opt/soft/

二、添加环境变量

vim /etc/profile
加入下图环境变量:

 三、修改kafka配置文件

进入kafka的根目录的config:
cd /opt/soft/kafka2.11/config/
打开server.properties:
vim server.properties 
插入以下代码:
(1)、配置 broker 的ID
broker.id=1 //第一个kafka配置为 1,第二个配置为2,以此类推2)、打开监听端口
listeners=PLAINTEXT://192.168.195.51:9092 //尽量写ip地址,以免造成错误3)、修改 log 的目录、在指定的位置创建好文件夹logs
log.dirs=/opt/soft/kafka2.11/logs
(4)、修改 zookeeper.connect尽量写ip地址,以免造成错误(集群的机器)
zookeeper.connect=hadop51:2181,hadop52:2181,hadop53:2181
5)、网络线程数量
num.network.threads=3
6)Zookeeper每6秒监视kafka是否还活着
zookeeper.connection.timeout.ms=6000(默认)

 

 四、分发到各个子节点

scp –rp /opt/soft/kafka2.11 root@hadop52: /opt/soft
scp –rp /opt/soft/kafka2.11 root@hadop53: /opt/soft
把环境变量的配置文件也分发过去:
scp –rp /etc/profile root@hadop52: /etc scp –rp /etc/profile root@hadop53: /etc
然后在每台机器更新环境变量:
source profile

五、每台机器启动kafka之前需启动zookeeper,然后启动kafka

这里写一下启动zookeeper的命令,免得以后忘了:
zkServer.sh start
再启动kafka:
kafka-server-start.sh $KAFKA_HOME/config/server.properties & 打印日志启动
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志启动
通过jps命令查看是否启动成功

 六、测试

通过创建一个topic(名字为test)来测试是否能成功运行,随便选择一个节点运行:

 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yw

  列出kafka:

 kafka-topics.sh --list -zookeeper 192.168.187.51:2181。有刚刚的测试topic名,表示创建成功。

 

原文地址:https://www.cnblogs.com/theyang/p/12801481.html