1、下载zookeeper docker pull wurstmeister/zookeeper 2、下载kafka docker pull wurstmeister/kafka:2.11-0.11.0.3 3、启动zookeeper docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper 报错： docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container init caused "rootfs_linux.go:58: mounting \"/etc/localtime\" to rootfs \"/var/lib/docker/overlay2/7b63cb086d7b04c3b5a979624d6ea3c39672b268e634d0d80224eefde47e51e2/merged\" at \"/var/lib/docker/overlay2/7b63cb086d7b04c3b5a979624d6ea3c39672b268e634d0d80224eefde47e51e2/merged/etc/localtime\" caused \"not a directory\""": unknown: Are you trying to mount a directory onto a file (or vice-versa)? Check if the specified host path exists and is the expected type. 解决：创建一个自定义容器卷 edc-zookeeper-vol 查看所有容器：docker volume ls docker volume edc-zookeeper-vol 将挂载的目录也修改为 /var/lib/docker/volumes/etc/localtime 再次执行： docker run -d --name zookeeper --publish 2181:2181 --volume edc-zookeeper-vol:/var/lib/docker/volumes/etc/localtime wurstmeister/zookeeper 4、启动kafa docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=192.168.0.104:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.0.104 --env KAFKA_ADVERTISED_PORT=9092 --volume edc-zookeeper-vol:/var/lib/docker/volumes/etc/localtime wurstmeister/kafka:2.11-0.11.0.3 5、创建topic 以下是因为kafka-topics.sh并不在bin目录下所走的弯路： 查看kafka容器ID：docker ps 进入容器：docker exec -it [容器ID] bin/bash 创建topic bin/kafka-topics.sh --create --zookeeper 192.168.0.104:2181 --replication-factor 1 --partitions 1 --topic mykafka 问题：创建topics时执行命令报错：bash: bin/kafka-topics.sh: No such file or directory 进入bin文件：cd /bin 创建文件kafka-topic.sh文件：touch kafka-topics.sh 问题：再次执行创建topic时报错：bash: bin/kafka-topics.sh: Permission denied 因为没有权限 解决：进入文件所在的目录执行：chmod a+x *.sh 然后再次执行创建topics的命令 其实kafka-topics.sh文件在 /opt/kafka/bin 目录下 再次创建： opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.0.104:2181 --replication-factor 1 --partitions 1 --topic mykafka 返回：Created topic "mykafka". 说明已创建成功 6、查看topic opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.0.104:2181 返回：mykafka 7、创建生产者 opt/kafka/bin/kafka-console-producer.sh --broker-list 192.168.0.104:9092 --topic mykafka 返回：> 表示进入输入状态 8、重新开一个命令行窗口，并再次进入kafka容器中，创建消费者 opt/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.0.104:2181 --topic mykafka --from-beginning 9、在生产者的命令行中输入信息，在消费者的命令行窗口就可以实时的接收到信息。 10、安装ELK docker pull sebp/elk 11、启动ELK docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 -e ES_MIN_MEM=128m -e ES_MAX_MEM=2048m -d --name elk sebp/elk 过10秒就可以看到ELK相关的面板。：http://localhost:5601/ 12、进入ELK容器： docker exec -it 容器ID bin/bash 13、测试 Logstash和ES之间是可以正常联通 /opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }' 报错： Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting. 进入指定的文件夹root@c953e1538736:/opt/logstash/data# 中将.lock文件删除 再次执行命令 /opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }' 14、这句话：Successfully started Logstash API endpoint {:port=>9600}表示成功 然后输入一句话：olidigital.com hello world 回车 打开浏览器，输入：http://192.168.0.104:9200/_search?pretty 如图，就会看到我们刚刚输入的日志内容。（并没有找到输入的日志，待解。。。） 15、配置Logstash从Kafka消费消息 1） 找到config文件 cd /opt/logstash/config 2） 编辑配置文件（没有该文件会新建一个） vi logstash.config 输入内容： input { kafka{ bootstrap_servers =>["192.168.0.104:9092"] client_id => "test" group_id => "test" consumer_threads => 5 decorate_events => true topics => "mi" } } filter{ json{ source => "message" } } output { elasticsearch { hosts => ["localhost"] index => "mi-%{app_id}" codec => "json" } } 16、进入elk加载配置文件从kafka上消费 /opt/logstash/bin/logstash -f /opt/logstash/config/logstash.config