ELK搭建日志管理系统记录

使用Elasticsearch + Logstash + Kibana 搭建日志管理平台。本文主要展示搭建的过程,起到记录作用,ELK的内容远远不止本文中展示的这么多,留下记录慢慢啃:)
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。----------------百度百科介绍

我们这里使用Elasticsearch 主要用来检索分析我们系统中的日志,可以做到快速检索的作用。Logstash 也是一个开源工具,用来收集转发,相当于搬运工的作用,为数据的分析,查询,存储解析提供一个强大的管道桥接作用。Kibana 是一个数据分析可视化平台,我们这里的作用主要是直接展示项目的日志,根据日志打印的结果便于bug的排查分析。

第一步安装Elasticsearch ,我这里使用的是最新版本的6+,下载地址https://www.elastic.co/downloads/elasticsearch,下载直接解压安装

解压后修改配置文件config/elasticsearch.yml,主要修改network.host为你服务器的IP,然后直接启动,报错可以继续上网搜索结果,网上有很多帖子专门讲报错的,我这边报错主要改了两个参数

修改完之后重启即可。浏览器访问http://localhost:9200出现以下信息表示启动正常。

第二步安装Logstash,我安装的也是6+版本,下载地址https://www.elastic.co/downloads/logstash,同样下载解压安装,logstash用于收集日志,故需要修改以下读取的配置文件,可以新增配置文件logstash.conf,配置大概如下,还有很多参数有各种不同的作用,比如过滤作用的filter{},里面还有不同的参数,需要可以继续研究,下图path中就是项目的日志文件,我这边是个服务的日志文件,注意output的index(索引名),配置kibana时需要

 

配置之后可以按照配置文件启动logstash:bin/logstash -f logstash.conf &

这些配置都比较简单,按部就班的操作都可以正常启动

第三步安装可视化界面Kibana,同样6+版本,下载地址https://www.elastic.co/downloads/kibana,修改配置文件conf/kibana.yml。改完启动即可:bin/kibana

启动完成之后浏览器访问localhost:5601,显示

配置索引名就可以正常的查看项目的日志了,查询速度挺快的,这得益与Elasticsearch的处理能力。配置索引名就是之前logstash配置文件设置的,

设置索引按照提示一步一步往下走即可,设置完成之后就可以查看到自己的日志了。都是格式化输出的,点击Discover选择自己设计的所以就可以查看了。

ELK的内容远不止这些,我这边是先记录一下大概的搭建过程,可以解决测试环境的日志查询分析,具体功能还要摸索研究。

其实ELK其中每一个单拿出来都可以研究学习的。日志管理水也比较深,总之能解决问题就好。

原文地址:https://www.cnblogs.com/mark8080/p/8376571.html