一、zk集群部署
二、kafka部署安装
1、创建kafka用户和日志路径，（直接执行）
groupadd kafka
useradd -g kafka kafka
mkdir -p /web/kafka
mkdir -p /var/kafka/kafka-logs
rsync -zrtopg 10.12.30.102::soft/kafka_2.11-0.10.2.0.cdo.tgz /web/kafka
cd /web/kafka
chmod +x kafka_2.11-0.10.2.0.cdo.tgz
tar zxf kafka_2.11-0.10.2.0.cdo.tgz
chown -R kafka.kafka /var/kafka/kafka-logs
chown -R kafka.kafka /web/kafka
2、修改配置文件 server.properties
kafka用户执行以下操作
broker.id id唯一
listeners = PLAINTEXT://10.32.58.12:9092 监听端口号
advertised.listeners=PLAINTEXT://10.32.58.12:9092
zookeeper.connect zk配置，集群ip以逗号隔开
num.partitions 分区数
default.replication.factor 副本数
delete.topic.enable=true 是否支持手动删除topic
3、启动kafka服务
sh kafka-server-start.sh -daemon ../config/server.properties
4、kafka常用命令
sh kafka-topics.sh --create --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --replication-factor 3 --partitions 3 --topic test01 创建test01 topic
sh kafka-topics.sh --list --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 显示当前所有topic
sh kafka-topics.sh --describe --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181
sh kafka-console-producer.sh --broker-list 10.32.58.12:9092 --topic test01 创建生产者发布消息
sh kafka-console-consumer.sh --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --topic test01 --from-beginning 接收消息
sh kafka-topics.sh --delete --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --topic test01 删除test01 topic
三、kafka-manager部署安装
1、创建kafka-manager，安装sbt，下载编译
groupadd kafka-manager
useradd -g kafka-manager kafka-manager
mkdir -p /home/kafka-manager
curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
yum install sbt
git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
sbt clean dist
2、启动、指定配置文件和启动端口号，默认9000
unzip kafka-manager-1.3.0.4.zip
vim kafka-manager-1.3.0.4/conf/application.conf
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port 9001 &