kafka分布式搭建
(192.168.230.129)master
(192.168.230.130)slave1
(192.168.230.131)salve2
在master、slave1、slave2三台主机上配置kafaka分布式集群
准备工作：在三台机器上配置好zookeeper
1、解压kafka压缩文件到指定文件夹下
[root@master software]# tar -zxf kafka_2.10-0.8.1.1.tgz -C /opt/modules
2、改动/opt/modules/kafka_2.10-0.8.1.1/config文件夹下的server.properties文件
[root@master ~]# cd /opt/modules/kafka_2.10-0.8.1.1/config
[root@master config]# vi server.properties
broker.id=1
zookeeper.connect=master:2181,slave1:2181,slave2:2181
3、将master主机上kafka配置好的安装文件夹发送到slave1、salve2主机上
[root@master config]# scp -r /opt/modules/kafka_2.10-0.8.1.1/ root@slave1:/opt/modules/kafka_2.10-0.8.1.1/
[root@master config]# scp -r /opt/modules/kafka_2.10-0.8.1.1/ root@slave2:/opt/modules/kafka_2.10-0.8.1.1/
4、在slave1主机中改动/opt/modules/kafka_2.10-0.8.1.1/config/server.properties配置文件
[root@slave1 kafka_2.10-0.8.2.1]# vi config/server.properties
broker.id=2
5、在slave1主机中改动/opt/modules/kafka_2.10-0.8.1.1/config/server.properties配置文件
[root@slave2 kafka_2.10-0.8.1.1]# vi config/server.properties
broker.id=3
6、改动三个主机的/opt/modules/kafka_2.10-0.8.1.1/config/server.properties配置文件里的
[root@master kafka_2.10-0.8.1.1]# vi config/server.properties
#host.name=localhost
将#凝视去掉，并改成
master主机下：
host.name=master
[root@slave1 kafka_2.10-0.8.1.1]# vi config/server.properties
slave1主机下：
host.name=slave1
[root@slave2 kafka_2.10-0.8.1.1]# vi config/server.properties
slave2主机下：
host.name=slave2
7、在每一台节点上启动broker
在master主机上启动broker：
[root@master kafka_2.10-0.8.1.1]# ./bin/kafka-server-start.sh config/server.properties
在slave1主机上启动broker：
[root@slave1 kafka_2.10-0.8.1.1]# ./bin/kafka-server-start.sh config/server.properties
在slave2主机上启动broker：
[root@slave2 kafka_2.10-0.8.1.1]# ./bin/kafka-server-start.sh config/server.properties
8、在kafka集群中创建一个topic
在master主机中创建一个话题
[root@master kafka_2.10-0.8.1.1]# ./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic chinesescore
9、查看消息是否创建成功
[root@master kafka_2.10-0.8.1.1]# ./bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181 --topic chinesescore
10、查看一个topic的分区及副本状态信息
[root@master kafka_2.10-0.8.1.1]# ./bin/kafka-topics.sh --describe --zookeeper master:2181,slave1:2181,slave2:2181 --topic chinesescore
11、用一个producer向某一个topic中写入消息
[root@master kafka_2.10-0.8.1.1]# ./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic chinesescore
12、用一个comsumer从某一个topic中读取信息
[root@slave2 kafka_2.10-0.8.1.1]# ./bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning --topic chinesescore
13、从zookeeper中查看Topic
[root@slave1 kafka_2.10-0.8.1.1]# zkCli.sh
[zk: localhost:2181(CONNECTED) 4] ls /brokers/topics
13使用Java编写kafka生产者程序：
用一个comsumer从某一个topic中读取信息
[sparse@hadoop-sparse kafka_2.10-0.8.1.1]$ ./bin/kafka-console-consumer.sh --zookeeper hadoop-sparse:2181 --from-beginning --topic orders
14、关闭Kafka服务
[root@master kafka_2.10-0.8.1.1]# ./bin/kafka-server-stop.sh
[root@slave1 kafka_2.10-0.8.1.1]# ./bin/kafka-server-stop.sh
[root@slave2 kafka_2.10-0.8.1.1]# ./bin/kafka-server-stop.sh
