开发组的同事提的需求，因为每次手动登录服务器查看日志时太慢了效率低，所以申请将要查看的日志接入到elk系统中，这样可以提高工作效率。
因此我这边给自己测试的机器部署了elk系统，给要查看的机器部署了filebeat，通过编写logstash的过滤文件，最终将要查看日志的关键信息显示到了kibana界面。
因为是测试环境使用，所以我还做了kibana的权限认证，新建了role和用户等。
这篇文章只写了操作步骤，涉及到的众多原理稍晚我再总结出来。
下面来看一下具体的部署流程吧~
一、环境规划
两台实验虚拟机搭载centos7.0，ELK服务器是8G内存，Web服务器是16G内存。
因为是测试环境，生产环境中的filebeat搜集到的日志会先传输给kafka然后再传送给logstash
流程：
1.业务请求到达filebeat所在的机器；
2.FileBeat搜集新增的日志，通过LogStash的5044端口上传日志；
3.LogStash将日志信息通过本机的9200端口传入到ElasticSerach；
4.搜索日志的用户通过浏览器访问Kibana，服务器端口是5601；
5.Kibana通过9200端口访问ElasticSerach；
二、环境搭建
前提是本机有java环境，需要提前安装好jdk和tomcat。
java –-version
openjdk 11.0.8 2020-07-14 LTS
OpenJDK Runtime Environment 18.9 (build 11.0.8+10-LTS)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.8+10-LTS, mixed mode, sharing)
应用版本统一使用官网下载的7.1.0源码包，解压到对应目录即可（几个软件包必须一致否则会出问题），因为做了kibana的权限验证，所以elk三个的配置文件都有修改xpack部分的内容。
2.1 elk环境搭建
2.1.1 elasticsearch搭建
解压安装包后，新建elasticsearch作为启动elasticsearch的用户，修改解压后目录的权限和配置文件
1.elasticsearch.yml
vim config/elasticsearch.yml
修改下面几行为如下的：
node.name: node-1
network.host: 172.16.108.137
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
cluster.initial_master_nodes: ["node-1"]
# 开启权限访问控制
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
- jvm.options
vim config/jvm.options
-Xms30g
-Xmx30g
切换到elasticsearch用户，启动服务
su - elasticsearch
cd /usr/local/elasticsearch-7.1.0/bin
nohup ./elasticsearch &
在启动过程中可能会报错，需要对系统的资源限制情况进行修改
- elasticsearch每个进程最大同时打开的文件数，至少需要65535；
vim /etc/security/limits.conf
elasticsearch hard nofile 65535
elasticsearch soft nofile 65535
2.虚拟内存大小
vim /etc/sysctl.conf
vm.max_map_count=262144
sysctl -p
3.elasticsearch修改最大线程个数
vim /etc/security/limits.conf
elasticsearch hard nproc 4096
elasticsearch soft nproc 4096
这里可以参考：
https://blog.csdn.net/achenyuan/article/details/87881548
https://www.cnblogs.com/hellxz/p/11057234.html
启动成功后，可以在浏览器中访问链接：
http://172.16.108.137:9200/_cat/indices?v
或http://172.16.108.137:9200/进行访问
2.1.2 logstash搭建
解压安装包后，修改配置文件下面几行为以下这样，密码为随机生成的8位字符串。
vim /usr/local/logstash-7.1.0/config/logstash.yml
xpack.monitoring.enabled: True
xpack.monitoring.elasticsearch.username: kibana
xpack.monitoring.elasticsearch.password: "********"
xpack.monitoring.elasticsearch.hosts: ["http://172.16.108.137:9200"]
xpack.monitoring.collection.pipeline.details.enabled: true
path.config: /usr/local/logstash-7.1.0/config/*.conf
logstash对日志的过滤文件：
vim /usr/local/logstash-7.1.0/config/app-admin.conf
input {
beats {
port => "5044"
}
}
filter {
grok {
match => {
"message" => "%{GREEDYDATA:timestamp}[%{WORD:log_level}]%{GREEDYDATA:meaasge}"
}
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
mutate {
remove_field => "timestamp"
}
}
output {
elasticsearch {
hosts => ["172.16.108.137:9200"]
index => "%{[appname]}-%{[loglevel]}-%{+YYYY.MM}"
user => "elastic"
password => "********"
}
}
过滤3个字段：
1.时间 2.日志等级warn/info/error，剩余所有日志信息放在message字段中
生成的es索引格式为：appname（我这里是app-admin/app-activity）-loglevel（日志等级error/info/warn）-时间（年月2020-12）
这几个定义的变量在filebeat子配置文件中有体现。
分为3段：
input为日志输入，这里设定监听端口为5044，获取方式是beat客户端采集。
filter根据日志的log_type进行正则匹配并分割，只处理了以.log结尾的日志。
output为日志输出，这里输出到本机的es进行存储，index按照应用名-loglevel-时间戳存储。
启动logstash：
nohup ./bin/logstash -f config/app-admin.conf &
2.1.3 kibana搭建
解压后新建用户kibana，修改目录所有人所有组为kibana
vim config/kibana.yml
server.port: 5601
server.host: "172.16.108.137"
elasticsearch.hosts: ["http://172.16.108.137:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "********"
修改完成后启动kibana
nohup ./bin/kibana &
三个服务都启动后，对应的端口都会开启。
2.2 filebeat环境搭建
解压后，修改主配置文件filebeat.yml：
filebeat.config.inputs:
enabled: true
path: /usr/local/filebeat-7.1.0-linux-x86_64/modules.d/app-*.yml
output.logstash:
# The Logstash hosts
hosts: ["172.16.108.137:5044"]
主配置文件中定义了子配置文件的路径，所以就会读取所有子配置文件。
子配置文件：
1.
cat modules.d/app-admin-error.yml
- type: log
enabled: true
paths:
- /data/logs/app-admin/*.log
fields_under_root: true
fields:
appname: app-admin
log_type: application
loglevel: error
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
cat modules.d/app-admin-info.yml
- type: log
enabled: true
paths:
- /data/logs/app-admin/*.log
fields_under_root: true
fields:
appname: app-admin
log_type: application
loglevel: info
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
cat modules.d/app-admin-warn.yml
- type: log
enabled: true
paths:
- /data/logs/app-admin/*.log
fields_under_root: true
fields:
appname: app-admin
log_type: application
loglevel: warn
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
cat modules.d/app-activity-info.yml
- type: log
enabled: true
paths:
- /data/logs/app-activity/*.log
fields_under_root: true
fields:
appname: app-activity
log_type: application
loglevel: info
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
cat modules.d/app-activity-warn.yml
- type: log
enabled: true
paths:
- /data/logs/app-activity/*.log
fields_under_root: true
fields:
appname: app-activity
log_type: application
loglevel: warn
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
cat modules.d/app-activity-error.yml
- type: log
enabled: true
paths:
- /data/logs/app-activity/*.log
fields_under_root: true
fields:
appname: app-activity
log_type: application
loglevel: error
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
共6个子配置文件
文件最后三行是根据日志文件的具体格式来定的，我这里日志的格式如下:
第一行为正则匹配日期，格式为：4位数字-2位数字-2位数字
第2.3行为将多行写到一个message字段中，不分开。
根据应用配置不同的采集，需要新增field供logstash区分不同应用不同的日志文件和日志格式存入es
java日志需要配置multiline.pattern，配置该正则的行和该行下面所有不匹配的行并入到一条记录上传
启动filebeat：
nohup ./filebeat -e -c filebeat.yml -d publish
2.4 elk开启权限控制
启动kibana的权限控制，为了防止混淆，这里多个用户都是用同一个密码
在elasticsearch目录切换到elasticsearch用户下启动进程：
./bin/elasticsearch-setup-passwords interactive
依次初始化相关用户密码，需要在kibana和logstash等等配置中用到
elastic, kibana, logstash_system, beats_system, apm_system, and remote_monitoring_user
elastic 为superuser
此时，就可以在浏览器中访问kibana：
http://172.16.108.137:5601/app/kibana#/home?_g=()登录了。
登录名：elastic 密码为设置的密码
kibana新建role和普通用户可以参考链接：
https://www.cnblogs.com/sanduzxcvbnm/p/11427692.html
三、使用supervisor进程管理工具管理进程
elk服务器
vim /etc/supervisord.d/elk.conf
[program:elasticsearch]
command=/usr/local/elasticsearch-7.1.0/bin/elasticsearch
directory=/usr/local/elasticsearch-7.1.0
autostart=true
autorestart=true
stdout_logfile=/var/log/supervisor/elasticsearch.log
redirect_stderr=true
user=elasticsearch
[program:kibana]
command=/usr/local/kibana-7.1.0-linux-x86_64/bin/kibana -c /usr/local/kibana-7.1.0-linux-x86_64/config/kibana.yml
directory=/usr/local/kibana-7.1.0-linux-x86_64
autostart=true
autorestart=true
stdout_logfile=/var/log/supervisor/kibana.log
redirect_stderr=true
user=root
[program:logstash]
command=/usr/local/logstash-7.1.0/bin/logstash -f /usr/local/logstash-7.1.0/config/app-admin.conf
directory=/usr/local/logstash-7.1.0
autostart=true
autorestart=true
stdout_logfile=/var/log/supervisor/logstash.log
redirect_stderr=true
user=root
filebeat服务器
vim /etc/supervisord.d/filebeat.conf
[program:filebeat]
command=/usr/local/filebeat-7.1.0-linux-x86_64/filebeat -c /usr/local/filebeat-7.1.0-linux-x86_64/filebeat.yml
directory=/usr/local/filebeat-7.1.0-linux-x86_64
autostart=true
autorestart=true
stdout_logfile=/var/log/supervisor/filbeat.log
redirect_stderr=true
user=root