【刷题】面筋-linux-如何查找出现频率最高的100个ip地址

命令:

  • cat + 文件名 + 管道 + 各种限制条件

简单示例:有如下文件test.txt

1  134.102.173.43

2  134.102.173.43

3  134.102.171.42

4  134.102.170.9
  • 要统计出现次数最多的IP可以利用以下shell脚本:

    • cat test.txt | awk '{print $2}' | sort | uniq -c | sort -n -r | head -n 1
  • 参数含义:

    • (针对首行不是IP地址信息的情况)tail -n +3 :去掉上面用红色标明的两行。

    • awk '{ print $5}':取数据的低5域(第5列),本例中是第2列,因此将5写为2。

    • (多加的限制,可忽略)cut -d : -f 1 :取蓝色部分前面的IP部分。

    • sort:对IP部分进行排序。

    • uniq -c:打印每一重复行出现的次数,并去掉重复行

    • sort -n -r:按照重复行出现的次序倒序排列。

    • head -n 5:取排在前5位的IP,本例中是找"最多",因此5可以写为1.

当前WEB服务器中联接次数最多的ip地址

  • 命令:netstat -ntu | tail -n +3|awk '{ print $5}' | cut -d : -f 1 | sort | uniq -c| sort -n -r | head -n 5

  • 参数解析:

    • tail -n +3 :去掉上面用红色标明的两行。

    • awk '{ print $5}':取数据的低5域(第5列),上面蓝色标明。

    • cut -d : -f 1 :取蓝色部分前面的IP部分。

    • sort:对IP部分进行排序。

    • uniq -c:打印每一重复行出现的次数。(并去掉重复行)

    • sort -n -r:按照重复行出现的次序倒序排列。

    • head -n 5:取排在前5位的IP

  • 其他示例:netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -nr

通过查看日志access_log文件进行统计

  • 查看日志中访问次数最多的前10个IP

    • cat access_log |cut -d ' ' -f 1 | sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 | less
  • 查看日志中出现100次以上的IP

    • cat access_log |cut -d ' ' -f 1 | sort |uniq -c | awk '{if ($1 > 100) print $0}'|sort -nr | less
  • 查看最近访问量最高的文件

    • cat access_log | tail -10000 | awk '{print $7}' | sort | uniq -c | sort -nr | less
  • 查看日志中访问超过100次的页面

    • cat access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less
  • 统计某url,一天的访问次数

    • cat access_log | grep '12/Aug/2009' | grep '/images/index/e1.gif' | wc | awk '{print $1}'
  • 前五天的访问次数最多的网页

    • cat access_log | awk '{print $7}' | uniq -c | sort -n -r | head -20
  • 从日志里查看该ip在干嘛

    • cat access_log | grep 218.66.36.119 | awk '{print $1" "$7}' | sort | uniq -c | sort -nr | less
  • 列出传输时间超过 30 秒的文件

    • cat access_log | awk '($NF > 30){print $7}' | sort -n | uniq -c | sort -nr | head -20
  • 列出最最耗时的页面(超过60秒的)

    • cat access_log | awk '($NF > 60 && $7~/.php/){print $7}' | sort -n | uniq -c | sort -nr | head -100

参考链接

END

原文地址:https://www.cnblogs.com/anliux/p/12849565.html