Kafka安装配置

1.安装好jdk1.8（kafka-manager必须java 8+）

2.下载kafka

http://apache.fayea.com/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgz

3.解压

tar -xvf kafka_2.11-0.10.1.0.tgz -C /opt/

4.启动服务

bin/zookeeper-server-start.sh config/zookeeper.properties &  #启动kafka自带的zookeeper
bin/kafka-server-start.sh config/server.properties &  #启动kafka

4.1修改停止服务脚本，kafka-server-stop.sh 

PIDS=$(ps ax | grep -i 'kafka_2.11' | grep -v zookeeper| grep java | grep -v grep | awk '{print $1}') #原有的脚本不行

5.单个broker 测试

5.1在启动kafka-server之后启动，运行producer：

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

5.2在另一个终端运行consumer：

$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 

在producer端输入字符串并回车，查看consumer端是否有显示。

6.kafka-manager安装（kafka页面管理）

wget https://excellmedia.dl.sourceforge.net/project/schedulerbox/tmp/scala_dependencies/kafka-manager-1.3.1.6-1.noarch.rpm
rpm -ivh  kafka-manager-1.3.1.6-1.noarch.rpm

6.1想要看到读取，写入速度需要开启JMX，修改kafka-server-start.sh 添加一行即可：添加JMX端口9999

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="9999"
fi

6.2修改/etc/kafka-manager/application.conf

kafka-manager.zkhosts="localhost:2181" #zookeeper主机

6.3修改/etc/default/kafka-manager

JAVA_OPTS="-Dpidfile.path=/var/run/kafka-manager/kafka-manager.pid #不修改会报权限错误

6.4修改启动脚本并启动kafka-manager服务

修改/etc/init.d/kafka-manager
　　IDFILE=/var/run/kafka-manager/kafka-manager.pid
启动/etc/init.d/kafka-manager start
ln -s /var/run/kafka-manager/kafka-manager.pid /var/run/kafka-manager.pid

7.打开kafka-manager的页面，添加Cluster

查看集群情况：