日志收集及网络包收集方案

日志收集机制:
logfile》filebeat》kafka》logstash》elasticsearch》kibana
filebeat部署在每台机器上负责抓取日志文件的数据(logstash也可以抓取数据,但是太重。用清量的filebeat方便部署在每台机器上。)
kafaka作为队列缓存,以防过大日志量打入logstash
logstash只负责数据过滤功能
日志数据最终存储在有强大搜索功能的es中。
kibana在web端作展现。
 
网络抓包工具。使用packbeat可以抓取tcpip协议的网络包。最终存储到es中。
目前packbeat本身支持mysql、redis、mc、http等协议的解析。
原文地址:https://www.cnblogs.com/vansky/p/9337322.html