filbeat遇到的坑(运行久和文件数据量多时候 )

1、现像,吃cpu,&& io

过程:量大的时候发现在filbeat很吃io,

原因:

日志量文件数太多,因为日志是2m一个文件 ,一天几十个G

开始怀疑是centos  6的问题,,后面观察下来7也有这个问题,filebeat运行久和文件数据量多时候 

所以会导致 filbeat 数据文件 registry    io  吃很多   发现这个文件 有6m左右 

 1、忧化配置

配置参数:

close_inactive: 5m
close_removed: true
clean_removed: true
max_procs: 1
scan_frequency: 120s

2、要求开发统一打200m一个大小的文件 ,禁止打小文件 

3、每天压缩一次这个log文件 

观察几天下来,filebeat正常

原文地址:https://www.cnblogs.com/Qing-840/p/9983176.html