企业级-Shell案例13——Nginx访问日志分析

Nginx访问日志分析

分析客户访问是否正常

  1. 访问最多的IP
  2. 访问最多的页面
  3. 访问页面状态码的数量
  4. 根据时间段来访问最多的IP

UV:用户访问次数 (天)

PV:总页面访问次数(天)

访问最多的IP

 awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' access.log |sort -k2 -nr |head -10

统计时间段访问最多的IP

awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr|head -10

访问最多的10个页面

awk '{a[$7]++}END{print "PV:",length(a);for(v in a){if(a[v]>5)print v,a[v]}}' access.log |sort -k2 -nr

统计访问页面状态码数量

awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v,a[v]}}' $LOG_FILE |sort -k3 -nr

脚本编写

#!/bin/bash
# 日志格式: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"
LOG_FILE=$1
echo "统计访问最多的10个IP"
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr |head -10
echo "----------------------"

echo "统计时间段访问最多的IP"
awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr|head -10
echo "----------------------"

echo "统计访问最多的10个页面"
awk '{a[$7]++}END{print "PV:",length(a);for(v in a){if(a[v]>10)print v,a[v]}}' $LOG_FILE |sort -k2 -nr
echo "----------------------"

echo "统计访问页面状态码数量"
awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v,a[v]}}' $LOG_FILE |sort -k3 -nr

相关博文:

 企业级-Shell案例1——服务器系统配置初始化

企业级-Shell案例2——发送告警邮件

企业级-Shell案例3——批量创建多个用户并设置密码

企业级-Shell案例4——一键查看服务器利用率

企业级-Shell案例5——找出占用CPU 内存过高的进程

企业级-Shell案例6——查看网卡的实时流量

企业级-Shell案例7——监控多台服务器磁盘利用率脚本

企业级-Shell案例8——批量检测网站是否异常并邮件通知

企业级-Shell案例9——批量主机远程执行命令脚本

企业级-Shell案例10——一键部署LNMP网站平台脚本

企业级-Shell案例11——监控MySQL主从同步状态是否异常脚本

企业级-Shell案例12——MySql数据库备份脚本

企业级-Shell案例13——Nginx访问日志分析

企业级-Shell案例14——Nginx访问日志自动按天(周、月)切割

企业级-Shell案例15——自动发布Java项目(Tomcat)

企业级-Shell案例16——自动发布PHP项目

企业级-Shell案例17——DOS攻击防范(自动屏蔽攻击IP)

企业级-Shell案例18——目录入侵检测与告警

原文地址:https://www.cnblogs.com/heian99/p/12231039.html