一、ELK架构介绍
1、核心组成：
ELK是一个应用套件，由elasticsearch 、logstash 和 kibana三部分组件组成，简称ELK。他是一套开源免费、功能强大的日志分析管理系统，
ELK可以将我们的系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗，然后进行集中存放并可用于实时检索分析。
2、elasticsearch 介绍：
elasticsearch是一个实时的分布式搜索和分析引擎，他可以用于全文搜索，结构化搜索以及分析，采用java语言编写，他的主要特点如下： 1、实时搜索，实时分析 2、分布式架构、实时文件存储，并将没一个字段都编入索引 3、文档导向，所有的对象全部是文档 4、高可用，易扩展，支持集群（cluster）、分片和复制（shards和replicas） 5、接口友好，支持json
elasticsearch支持集群架构，典型的集群架构如下图所示：
从图中可以看出，elasticsearch集群中有master node和 slave node 两种角色，
3、Logstash介绍
Logstash是一款轻量级的、开源的日志收集处理框架，他可以方便的把分散的、多样化的日志搜集起来，并进行自定义过滤分析处理，然后传输到指定的位置，
比如某个服务器或者文件。Logstash采用JRuby语言编写，他的主要特点如下：
Logstash的理念很简单，从功能上来讲，他只做三件事情： 1、input：数据收集 2、filter：数据加工，如过滤，改写等 3、output：数据输出
别看他只做三件事，单通过组合输入和输出，可以变幻出多种架构实现多种需求
Logstash内部运行逻辑如下图所示：
其中，每部分含义如下：
shipper：主要用来收集日志数据，负责监控本地日志文件变化，及时把日志文件的最新内容收集起来，然后经过加工、过滤、输出到Broker. Broker：相当于日志Hub,用来连接多个shipper和indexer. Indexer：从Broker读取文本，经过加工、过滤、输出到指定的介质（可以是文件、网络、elasticsearch等）中。
redis服务器是logstash官方推荐的broker,这个broker起数据缓存的作用，通过这个缓存器可以提高Logstash shipper发送日志到 Logstash indexer的速度，
同时避免由于突然断电等导致的数据丢失。可以实现Broker功能的还有很多软件，例如kafka 等。
这里需要说明的是，在实际用用中，logstash自身并没有什么角色，只是根据不同的功能，不同的配置给出不同的称呼而已，无论是shipper还是indexer,始终只做前面提到的三件事
这里需要重点掌握的是logstash中shipper和indexer的作用，因为这两部分是logstash功能的核心。
4、kibana介绍
kibana是一个开源的数据分析可视化平台，使用kibana可以为logstash和elasticsearch提供的日志数据进行高效的搜索、可视化汇总和多维度分析，还可以与elasticsearch搜索引擎之中的数据进行交互，他基于浏览器的界面操作可以快速创建动态仪表板，实时监elasticsearch的数据状态与更改。
5、ELK工作流程：
一般都是再需要收集日志的服务上部署logstash，作为logstash shipper 用于监控并手机、过滤日志，接着，将过滤后的日志发送给broker,然后，logstash indexer将存放再broker中的数据再写入elasticsearch 、elasticsearch对这些数据创建索引，左后kibana对其进行各 种分析并以图表的形式展示。
有些时候，如果收集的日志量比较大，为了保证日志收集的性能和数据的完整性，logstash shipper 和 logstash indexer之间的缓冲器（broker）也经常采用kafka来实现。