zookeeper和kafka集群源码搭建

一、下载zookeeper,kafka,java

1 网盘下载

版本号不能选:zookeeper-3.6.1,kafka_2.13-2.5.0,jdk-8u241

https://pan.baidu.com/share/init?surl=8cYaxW_8gDtM4wR32nH1Sg

提取码：g9gz

2 网站下载

可以选择版本号

https://www.oracle.com/java/technologies/javase-downloads.html

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

3 集群环境

centos7 1.1.1.3 jdk1.8.0_241+zookeeper-3.4.14+kafak_2.13-2.5.0
centos7 1.1.1.4 jdk1.8.0_241+zookeeper-3.4.14+kafak_2.13-2.5.0
centos7 1.1.1.5 jdk1.8.0_241+zookeeper-3.4.14+kafak_2.13-2.5.0

二、部署

1 java环境安装

https://www.cnblogs.com/gudanaimei/p/12525325.html

2 安装zookeeper

2.1 解压,包已上传到/tmp目录下

tar -xzvf /tmp/zk/zookeeper-3.4.14.tar.gz -C /app

2.2 修改配置文件

三台主机的配置文件一样

mv /app/zookeeper-3.4.14/conf/zoo_sample.cfg /app/zookeeper-3.4.14/conf/zoo.cfg


vi /app/zookeeper-3.4.14/conf/zoo.cfg

删掉所有内容，加入
#心跳检测，默认2s
tickTime=2000
#集群中的follower服务器(F)与leader服务器初始连接时经过几个心跳才超时
initLimit=10
#群中的follower服务器(F)与leader服务器请求和应答经过几个心跳数才超时
syncLimit=5
#zookeeper数据目录
dataDir=/app/data/zookeeper
#客户端连接zookeeper服务器的端口，默认2181
clientPort=2181
#zookeeper集群
#111,222,333为id，集群里唯一
#Flower 跟 Leader的通信端口，即服务端内部通信的端口，默认2888
#选举端口，默认3888
server.111=1.1.1.3:2888:3888
server.222=1.1.1.4:2888:3888
server.333=1.1.1.5:2888:3888

2.3 创建zookeeper所需要的目录和myid文件

注意主机不同，myid内容也不同

在1.1.1.3主机上
mkdir /app/data/zookeeper -p
echo "111">>/app/data/zookeeper/myid

在1.1.1.4主机上
mkdir /app/data/zookeeper -p
echo "222">>/app/data/zookeeper/myid

在1.1.1.5主机上
mkdir /app/data/zookeeper -p
echo "333">>/app/data/zookeeper/myid

2.4 三台主机上启动zookeeper

/app/zookeeper-3.4.14/bin/zkServer.sh start

2.5 三台主机上查看状态

/app/zookeeper-3.4.14/bin/zkServer.sh status

3 安装kafka

3.1解压

tar -xzvf /tmp/zk/kafka_2.13-2.5.0.tgz -C /app

3.2 修改配置文件

kafka配置文件详解请看

https://www.cnblogs.com/gudanaimei/p/13282685.html

在1.1.1.3主机上

vi /app/kafka_2.13-2.5.0/config/server.properties

删掉所有内容，加入

broker.id=1
listeners=PLAINTEXT://1.1.1.3:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181
zookeeper.connection.timeout.ms=18000
log.dirs=/tmp/kafka-logs
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
num.partitions=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
group.initial.rebalance.delay.ms=0

在1.1.1.4主机上

vi /app/kafka_2.13-2.5.0/config/server.properties
删掉所有内容，加入

broker.id=3
listeners=PLAINTEXT://1.1.1.4:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

在1.1.1.5主机上

vi /app/kafka_2.13-2.5.0/config/server.properties
删掉所有内容，加入

broker.id=3
listeners=PLAINTEXT://1.1.1.5:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

3.3 三台主机上启动kafka

-daemon以守护进程后台启动
/app/kafka_2.13-2.5.0/bin/kafka-server-start.sh -daemon /app/kafka_2.13-2.5.0/config/server.properties

查看一下服务是否启动
ps -ef|grep kafka|grep -v grep