kafka集群的搭建

1. Kafka下载:
wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
解压 tar zxvf kafka_2.9.2-0.8.1.tgz
(2.9.2为scala的版本 0.8.1为kafka地址)
2.下载安装sbt:
wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm
(有时候下载不了可以到http://dl.bintray.com/sbt/rpm/ 手工下载对应版本)
安装 yum install -y sbt-0.13.1.rpm 或者 rpm -ivh sbt-0.13.1.rpm(which sbt 可以测试环境变量有没)

tar -xvzf  kafka_2.9.2-0.8.1.tgz 解压

cd kafka_2.9.2-0.8.1.tgz

sbt update(比较慢)

完成后sbt package

到kafka_2.9.2-0.8.1 的解压目录下面的conf配置 配置文件

1.server.properties (企业通常会修改下图几项)

log.dirs=/opt/soft/kafka/kafka_2.9.2-0.8.1/logs(日志目录。目录自己创建)

zookeeper.connect=master:2181,slave1:2181(对应自己的host 没配置就用IP 配置上集群机器)

producer.properties

metadata.broker.list=master:9092,slave1:9092

consumer.properties

zookeeper.connect=master:2181,slave1:2181

安装配置完成。

同样再配置别的机器比如slave1。

需要scp 配置文件过去 然后server.properties 的broker.id=0要修改为1,和创建下logs的保存文件夹(记得)

启动和测试kafka

1 启动集群zookeeper

cd 到bin目录下 ./kafka-server-start.sh ../config/server.properties 启动kafka进程(master,slave1都启动)

启动成功的话会看到:

启动成功后可以通过jps查看当前挂起的kafka进程

35954 Jps
33829 QuorumPeerMain
35431 Kafka
2452 Main

2.创建kafkatoipc和为其指定partition命令

kafka-topics.sh --zookeeper master:2181,slave1:2181 --topic track_log --replication-factor 2 --partitions 2 --creat

出现‘Created topic "track_log".’即为成功

启动kafka后在zookeeper中可以看到borker目录

查看topic明细

kafka-topics.sh --topic track_log --describe --zookeeper master:2181,slave1:2181

此时leader是相对于border来讲的(每个分区也必须选择出一个leader)

测试生产和消费可以使用命令

kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic track_log

键入值得

kafka-console-consumer.sh --zookeeper master:2181,slave1:2181 --topic track_log --from-beginning

printf消费的值

原文地址:https://www.cnblogs.com/yaohaitao/p/5538807.html