Elasticsearch安装部署总结

logstash是controller层,Elasticsearch是一个model层,kibana是view层 Kibana 依赖 Elasticsearch Logstash 数据 输出到 Elasticsearch Elasticsearch 数据来源 依赖 Logstash

依赖顺序安装的服务: ElasticSearch -> Logstash -> Kibana 数据流向服务顺序:Logstash ->ElasticSearch ->Kibana

数据-->传给logstash,将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储、建搜索的索引, kibana提供前端的页面再进行搜索和图表可视化,它是调用Elasticsearch的接口返回的数据进行可视化。 logstash和Elasticsearch是用Java写的,kibana使用node.js框架

因为logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存,而filebeat只需要10来M内存资源

ELK 架构之 Logstash 和 Filebeat 安装配置 http://www.cnblogs.com/xishuai/p/elk-logstash-filebeat.html

Windows 安装ELK https://blog.csdn.net/weisong530624687/article/details/82963544

简单安装 elk (Windows 环境) https://blog.csdn.net/qq_37421862/article/details/84565038   win10下安装ELK日志分析平台踩坑记录 https://blog.csdn.net/wyfcode/article/details/81081469

ELK学习记录三 :elasticsearch、logstash及kibana的安装与配置(windows) https://www.cnblogs.com/luyanlong/p/9007460.html

windows下安装logstash https://blog.csdn.net/wang_quan_li/article/details/52585134

Logstash介绍、安装和使用 https://www.cnblogs.com/cjsblog/p/9459781.html https://www.jianshu.com/p/9474667da8c5

Logstash将数据导入至MYSQL、Oracle https://segmentfault.com/a/1190000014852507 https://blog.csdn.net/goodstudy168/article/details/81364480

filebeat常见配置整理 https://blog.csdn.net/xuguokun1986/article/details/73560195 (个人理解,filebeat是一个轻量级的logstash,当你需要收集信息的机器配置或资源并不是特别多时,使用filebeat来收集日志)

为elasticsearch开发C++接口 https://www.cnblogs.com/woshare/p/9475379.html

Grok调试 http://grokdebug.herokuapp.com/

ELK日志处理之使用Grok解析日志 https://blog.csdn.net/napoay/article/details/62885899

ELK Betas 6.0安装及使用 http://www.cnblogs.com/gaoxu387/p/7890021.html

官网插件安装手册 https://www.elastic.co/guide/en/beats/packetbeat/current/packetbeat-getting-started.html

//插件监控 https://www.cnblogs.com/Hai--D/p/5748341.html

1.Elasticsearch安装启动:
 打开 elasticsearch-6.4.2in , cmd 运行 elasticsearch-service.bat install
 运行 elasticsearch-service.bat manager 管理配置ES,点击Start启动服务
 输入网址:   http://172.20.32.211:9200/
2.Logstash安装启动: 
 logstash -f ..configlogstash.conf
3.Kibana安装启动: 
 bin 目录 cmd 运行 kibana.bat
 输入网址:  http://172.20.32.211:5601
4.Head插件安装
 https://www.cnblogs.com/hts-technology/p/8477258.html
 输入网址:  http://172.20.32.211:9100
4. 服务启动命令
 Logstash启动命令:  logstash -f  ../config/logstash.conf
 filebeat测试命令:  filebeat.exe -e -c filebeat.yml -d "Publish"
 filebeat启动命令:  filebeat.exe -e -c filebeat.yml
 metricbeat启动命令:metricbeat.exe -e -c metricbeat.yml
5.插件应用
 1) Packetbeat: 网络数据(收集网络流量数据)
 2) Metribeat: 指标(搜集系统、进程和文件系统级别的CPU和内存使用情况等数据)
 3) Filebeat: 日志文件(搜集文件数据)
 4) Winlogbeat: windows事件日志(搜集Windows 事件日志数据)
 5) Auditbeat: 审计数据(搜集审计日志)
 6) Hearbeat: 运行时间监控(搜集系统运行时的数据)
 Topbeat
 topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等,然后将数据发送到elasticsearch进行索引
 topbeat收集的指标有:
 系统统计信息
 •系统负载: 最后1分钟、最后5分钟、最后15分钟
 •CPU使用情况: user (和百分比), system, idle, IOWait等等
 •内存使用情况: 总共, 已用 (和百分比), 剩余等等
 •swap使用情况:总共, 已用 (和百分比), 剩余等等
6.开启Powershell脚本限制
 默认的情况下,系统会禁止运行脚本,返回下面的错误提示:
 举例: E:packetbeat> .install-service-packetbeat.ps1  会报错
 执行命令 E:packetbeat> set-ExecutionPolicy RemoteSigned

http://www.cnblogs.com/gaoxu387/p/7890021.html

https://www.cnblogs.com/guguli/p/5218297.html

http://www.cnblogs.com/aresxin/p/8035137.html

http://www.cnblogs.com/xishuai/p/elk-logstash-filebeat.html

https://www.jianshu.com/p/9474667da8c5

爬坑的路上要越怕越勇.....
原文地址:https://www.cnblogs.com/shike8080/p/10567441.html