第一章,elk集群架构概念简介

一,什么是ELK

通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个：

• 1.处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能
• 2.配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。
• 3.检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。
• 4.集群线性扩展：elasticsearch和logstash都可以灵活线性扩展
• 5.前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单

---

什么是Elasticsearch？

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。

---

什么是Logstash？

可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。

 

---

什么是Kibana？

主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。

ELKstack部署及配置

环境准备

公网IP	内网IP	主机名	部署服务	用途
10.0.0.51	172.16.1.51	elkstack01	elasticsearch、JDK	存储日志的数据库
10.0.0.52	172.16.1.52	elkstack02	elasticsearch、JDK	存储日志的数据库
10.0.0.53	172.16.1.53	elkstack03	Logstash、JDK	收集日志、过滤日志
10.0.0.54	172.16.1.54	elkstack04	Redis、Kibana	消息队列、日志展示
10.0.0.55	172.16.1.55	nginx01	nginx、filebeat	修改nginx日志格式为json收集
10.0.0.56	172.16.1.56	tomcat01	tomcat、JDK、filebeat	修改tomcat日志格式为json收集

---

安装包准备

安装包名	用途
elasticsearch-5.3.0.rpm	存储日志的数据库
elasticsearch-head.tar.gz	elasticsearch的web界面插件
logstash-5.3.0.rpm	日志收集、日志分析工具
kibana-5.3.0-x86_64.rpm	日志展示、日志查询工具
filebeat-5.3.2-x86_64.rpm	日志收集工具（比Logstash轻量）
jdk-8u121-linux-x64.tar.gz	JAVA容器（es、Logstash、tomcat需要）
nginx-1.10.3.tar.gz	测试收集nginx日志
apache-tomcat-8.0.38.tar.gz	测试收集tomcat日志
redis-3.2.8.tar.gz	消息队列工具