在我们日常的运维中，当Nginx服务器正常运行后，我们会经常密切关注Nginx访问日志的相关情况，发现有异常的日志信息需要进行及时处理。
那今天我将跟大家一起来研究和分析Nginx日志，nginx默认日志路径为：/usr/local/nginx/logs/access.log 和error.log文件。如下图查看nginx日志：cat access.log |more
Nginx日志的格式一般在nginx.conf里面配置，常见的格式配置如下：
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log main;
格式说明：
$remote_addr, $http_x_forwarded_for 记录客户端IP地址
$remote_user 记录客户端用户名称
$request 记录请求的URL和HTTP协议
$status 记录请求状态
$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。
$bytes_sent 发送给客户端的总字节数。
$connection_requests 当前通过一个连接获得的请求数量。
$http_referer 记录从哪个页面链接访问过来的
$http_user_agent 记录客户端浏览器相关信息
$request_length 请求的长度（包括请求行，请求头和请求正文）。
$request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
Nginx日志分析需求：
1) 分析截止目前为止访问量最高的IP排行。
awk '{print $1}' /usr/local/nginx/logs/access.log|sort |uniq -c |sort -nr |head -20
2) 分析从早上9点至中午12点总的访问量。
3) 分析上一秒的访问请求数。
4) 找到当前日志中502或者404错误的页面并统计。
awk '{print $0}' /usr/local/nginx/logs/access.log|egrep "404|502"|awk '{print $1,$7,$9}'|more
通过编写脚本实现自动分析Nginx异常访问并加入防火墙：
1) 首先要判断什么是恶意访问呢？
我们可以定义为每秒请求一个URL超过20次的IP都可以封掉哦。
#!/bin/sh