【Kafka】Kafka集群环境搭建

目录

• 一、初始环境准备
• 二、下载安装包并上传解压
• 三、修改配置文件
• 四、启动ZooKeeper
• 五、启动Kafka集群

---

• 一、初始环境准备

  必须安装了JDK和ZooKeeper，并保证Zookeeper服务正常启动

• 二、下载安装包并上传解压

  下载tar包地址：http://archive.apache.org/dist/kafka/
  也可以在linux系统中操作

  cd /export/softwares
  wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
  

  不管用哪种方式上传成功后，开始解压
  tar -zxvf kafka_2.11-1.0.0.tgz -C ../servers

• 三、修改配置文件

  现在node01执行以下命令
  mkdir -p /export/servers/kafka_2.11-1.0.0/logs 先创建一个用来存放日志的目录

  cd /export/servers/kafka_2.11-1.0.0/config
  vim server.properties
  

  修改一下配置

  broker.id=0
  num.network.threads=3
  num.io.threads=8
  socket.send.buffer.bytes=102400
  socket.receive.buffer.bytes=102400
  socket.request.max.bytes=104857600
  log.dirs=/export/servers/kafka_2.11-1.0.0/logs
  num.partitions=2
  num.recovery.threads.per.data.dir=1
  offsets.topic.replication.factor=1
  transaction.state.log.replication.factor=1
  transaction.state.log.min.isr=1
  log.flush.interval.messages=10000
  log.flush.interval.ms=1000
  log.retention.hours=168
  log.segment.bytes=1073741824
  log.retention.check.interval.ms=300000
  zookeeper.connect=node01:2181,node02:2181,node03:2181
  zookeeper.connection.timeout.ms=6000
  group.initial.rebalance.delay.ms=0
  delete.topic.enable=true
  host.name=node01
  

  配置好node01后，将node01的Kafka安装包发到其他服务器上

  cd /export/servers/
  scp -r kafka_2.11-1.0.0/ node02:$PWD
  scp -r kafka_2.11-1.0.0/ node03:$PWD
  

  修改node02配置文件，只需要修改两项

  broker.id=1
  host.name=node02
  

  修改node03配置文件，也是修改两项

  broker.id=2
  host.name=node03
  

• 四、启动ZooKeeper

  三台机器都要启动

  cd /export/servers/zookeeper-3.4.5-cdh5.14.0
  bin/zkServer.sh start
  

• 五、启动Kafka集群

  在三台机器执行以下命令

  cd /export/servers/kafka_2.11-1.0.0
  nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
  

  停止集群命令 bin/kafka-server-stop.sh