elk7.2+filebeat

ELK (Elasticsearch + Logstash + Kibana)，是一个开源的日志收集平台，用于收集各种客户端日志文件在同一个平台上面做数据分析。

ELK组件：

Elasticsearch:负责日志检索和储存
Logstash:负责日志的收集和分析、处理
Kibana:负责日志的可视化
这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下,故被简称为ELK

ELK安装：

一：环境

说明：安装包版本均使用7.2.0，同时客户端使用Firebeat采集日志数据，建议提前下好安装包上传至服务器

如果是压缩包安装需添加elk用户，Elasticsearch用root启动会报错

groupadd  elk
useradd -g elk elk 
passwd elk

安装java8：

yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel -y

二：安装 Elasticsearch：这里使用rpm包安装

rpm -ivh elasticsearch-7.2.0-x86_64.rpm
rpm -ivh kibana-7.2.0-x86_64.rpm
rpm -ivh logstash-7.2.0.rpm

rpm 安装后会自东生成system服务

启动 systemctl start elasticearch

启动后默认监听端口

修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-application
node.name: es1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: "0.0.0.0"
http.port: 9200
cluster.initial_master_nodes: ["es1"]

验证 curl 127.0.0.1:9200 （备注：单机默认配置无需修改，如需配置network-host等配置，必须设置

cluster.initial_master_nodes: ["es1"]，否者启动会报错）

rpm安装的安装包配置文件默认均在/etc/相关目录下

三： kibana配置（rpm包上面已经安装，直接修改配置文件）

vim /etc/kibana/kibana.yml

server.port: 5601
server.host: "0.0.0.0"
server.name: "es1"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
kibana.index: ".kibana"

systemctl start kibana

修改yml文件注意格式，key和vlaue必须有空格

kibana默认监听5601端口

访问http://192.168.18.144:5601

四：logstash配置

vim /etc/logstash/logstash.yml

path.data: /var/lib/logstash
path.config: "/etc/logtash/conf.d"
path.logs: /var/log/logstash

这里加入了一个include的目录

同时链接到软件目录下方便后面修改

ln -s /etc/logstash /usr/share/logstash/config

编辑一个测试文件

vim /usr/share/logstash/config/conf.d/test.conf

input{
  file{
    path => ["/var/log/elasticsearch"]
    type => "elasticsearch-log"
    start_position => "beginning"
  }
}

filter{

}

output{
  elasticsearch{
    hosts => ["127.0.0.1:9200"]
    index => "system-log-%{+YYYY.MM.dd}"
  }
}

关闭system启动方式

system disabled logstash

启动：/usr/share/logstash/bin/logstash -f /usr/share/logstash/config/conf.d/test.conf

启动后就可以在kibana上看到信息了（这种启动方式当你关闭终端，或者ctrl+c时logstash就会退出。建议使用supervisord守护进程，详细会在后续文章放出）

创建之后就可以在仪表盘看到日志信息了

五：安装filebeat

Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。

rpm -ivh filebeat-7.2.0-x86_64.rpm

更改配置文件（备份原来的配置文件新建一份）

vim /etc/filebeat/filebeat.yml （7.2版本 filebeat.prospectors参数废弃）

filebeat.inputs:
- input_type: log
enabeld: true
paths:
- /var/log/elasticsearch/*.log

output.logstash:
hosts: ["127.0.0.1:5044"]

日志输出到logstash，所以对应要修改logstash的启动配置文件，设置logstash监听在5044端口

input{
  beats{
    port => "5044"    
  }
}
 
filter{
 }
 
output{
  elasticsearch{
    hosts => ["127.0.0.1:9200"]
    index => "system-log-%{+YYYY.MM.dd}"
  }
}

启动 systemctl start filebeat

六：nginx反向代理kibana并设置登录验证

Kibana的登录验证插件是收费功能，这里我们使用nginx来反向代理并设置登录验证。
用来安装nginx的服务器IP是192.168.18.154
nginx安装过程不在赘述
需要安装httpd的密码文件工具
yum -y install httpd-tools
htpasswd -c -b /etc/nginx/passwd/kibana.passwd kibana kibana123（注意创建目录)

编辑nginx配置文件

vim /etc/nginx/conf.d/kibana.conf

server
{
 listen 80;
   server_name kibana.shiji.com;
   access_log /var/log/nginx/kibana/kinaba_access.log main;
   error_log /var/log/nginx/kibana/kinaba_error.log;

   auth_basic "Kibana Auth";
   auth_basic_user_file /etc/nginx/passwd/kibana.passwd;

 location / {
    proxy_pass http://192.168.18.144:5601;
    proxy_redirect off;
   }

}

最后效果

ES查询索引相关操作

查询 curl 'localhost:9200/_cat/indices?v'
删除 curl -XDELETE 'localhost:9200/windows*'

查询安装logstash插件
/usr/share/logstash/bin/logstash-plugin list
/usr/share/logstash/bin/logstash-plugin install logstash-filter-multiline

删除索引
curl '10.16.10.9:9200/_cat/indices?v'
curl -XDELETE '10.16.10.9:9200/order_center_2019'

查询删除模板
curl -XGET 10.16.10.9:9200/_template/template_1
curl -XDELETE 10.16.10.9:9200/_template/order_center_indextpl