日志平台中心建议

ES5.4.1
日志集群共有30个节点,监控集群有16个节点。
每天新增400多个索引,最近5天的索引为打开状态,open索引2000+,每天新增数据2.5T,5天约有150多亿条数据,保留三个月(90天)的历史数据
平均每条日志约是0.6Kb
可用性99.99%、丢失率0.6%~3%

ES监控,使用monitoring插件以及cerebro(kopf替代品)
采集端,每个虚机装一个fluentd或者采用log-sender将数据发送到远端。采集端可以任意扩展,不受限制。
如果采集端 数据比较大,可能受限于中转。由于从中转到采集端 有负载均衡,中转可以线性扩展。

通知方式,支持短信、邮件、电话

支持异常日志监控、业务监控、系统监控、接口调用情况监控、jvm监控、tomcat监控
kibana可视化,图表功能,既是数据的获取方式aggdsl
将监控配置集成在kibana中,最合适不过了,所见即所得
简化了监控指标的生成方式,可视化配置报警,简单易用
监控平台开发,也降低了难度

可以设置通用指标,快速实施监控报警

kibana5自带上下文查询,但仍需要改进
Custom插件,用户可以自定义一些个性化的东西
Tail插件
Alert插件

fluentd配置简单,tag概念、插件机制、运行时资源占用小

容器云,可以采用落盘或者不落盘的方式,将日志推送到日志中心,当然,我们主推不落盘的方式

.

原文地址:https://www.cnblogs.com/softidea/p/7450488.html