Kafka集群部署

三台机器：vm1、vm2、vm3

1、部署zookeeper集群

假设已经有一个部署好了的zookeeper集群：zk1、zk2、zk3

2、下载、解压kafka

1	tar -xzvf kafka_2.10-0.8.2.1.tgz

3、修改vm1上面的config/server.properties

1 2 3 4

broker.id=1 log.dirs=/usr/local/bigdata/tmp/kafka_logs host.name=vm1 zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

4、复制kafka到其他机器上

1 2	rsync -a /usr/local/bigdata/kafka_2.10-0.8.2.1  vm2:/usr/local/bigdata/ rsync -a /usr/local/bigdata/kafka_2.10-0.8.2.1  vm3:/usr/local/bigdata/

修改vm2、vm3的server.properties里的对应的内容

5、启动zookeeper集群

在zk1、zk2、zk3上面分别执行：

1	zkServer.sh start

6、启动kafka集群

在vm1、vm2、vm3上面分别执行：

1	kafka-server-start.sh config/server.properties

或者

1	kafka-server-start.sh -daemon config/server.properties >/dev/null

7、测试

创建一个topic

1	kafka-topics.sh --create --zookeeper zk1:2181 --partitions 1 --replication-factor 1 --topic test

列出所有的topic

1	kafka-topics.sh --list --zookeeper zk1:2181

8、关闭kafka集群

在vm1、vm2、vm3上面分别执行：

1	kafka-server-stop.sh config/server.properties

 

 

 

 

 

 

 

来自为知笔记(Wiz)