日志分析(七)日志处理

1.http请求参数分离
请求url一般携带了一些业务参数,因为业务将token拼接到url的参数中,单独将其解析出来,可以用于用户行为分析,因此,基于logstash的kv进行处理。
kv {
        source => "request"
        field_split => "?"
}
 
2.垃圾日志清理
静态页面里面包含了大量的js,css,png等资源文件,做日志分析的时候,并不关心这些资源文件的日志。因此,需要在存储到ES之前,在filter中进行过滤。避免垃圾数据积压存储空间.
if ([request] =~ "^.+(.js|.jpg|.css|.map|.gif|.ico|.eot|.svg|.ttf|.woff|.swf)?*.*") {
    drop{}
}
if([request] =~ "^.+(.png|.jpg)?*.*") {
  if([request] =~ "^(?!.*?welcomePage.*(1080_1920|1242_2208|640_1136|640_960|720_1280|750_1334).(png|jpg)).*$") {
      drop{}
  }
}
原文地址:https://www.cnblogs.com/asfeixue/p/kv.html