搭建kafka集群

一、准备3台服务器(前提:zookeeper集群,)

二、下载路径:http://kafka.apache.org/downloads

三、上传压缩包到三台服务器并解压到指定目录(3台,以hdp03为例)

mkdir /opt/kafka

cd /opt/install rz

 tar -zxvf kafka_2.11-0.10.1.0.tgz -C /opt/kafka/

四、配置环境变量

cd /etc/profile

 export KAFKA_HOME=/opt/kafka/kafka_2.11-0.10.1.0

 export PATH=$PATH:$KAFKA_HOME/bin

生效配置

source /etc/profile

五、修改配置文件

cd /opt/kafka/kafka_2.11-0.10.1.0/config

vim server.properties

(1)、配置 broker 的ID

broker.id=1 //第一个kafka配置为 1,第二个配置为2,以此类推

(2)、打开监听端口

listeners=PLAINTEXT://192.168.0.32:9092 //尽量写ip地址,以免造成错误

(3)、修改 log 的目录、在指定的位置创建好文件夹logs

log.dirs=/opt/kafka/logs

(4)、修改 zookeeper.connect

尽量写ip地址,以免造成错误

zookeeper.connect=192.168.0.32:2181,192.168.0.42:2181,192.168.0.43:2181

(5)、网络线程数量

num.network.threads=3

(6)Zookeeper每6秒监视kafka是否还活着

zookeeper.connection.timeout.ms=6000(默认)

 

六、三台都配置好后(注意broker.id和listeners需要修改),先各自启动zookeeper

//zookeeper启动
zkServer.sh start

七、启动kafka,各节点需单独启动,jps查看是否启动

kafka-server-start.sh $KAFKA_HOME/config/server.properties &  打印日志启动

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志启动

八、测试

通过创建一个topic(名字为test)来测试是否能成功运行,随便选择一个节点运行
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zhangsan

列出kafka:kafka-topics.sh --list -zookeeper 192.168.0.32:2181。有刚刚的测试topic名,表示创建成功。

原文地址:https://www.cnblogs.com/yangy1/p/12795038.html