1、awk命令格式：
awk [options] 文件名
options：
-F fs:指定分割数据的分隔符
-f file:指定程序的脚本文件
例：awk -F: '{print $1}' /etc/passwd
awk –f script /etc/passwd
script：代表的是passwd文件的处理语句
像{print $1} 都可用放在script文件中
2、BEGIN、END
awk -F: 'BEGIN{num=0}{print $1;num++}END{print num}' /etc/passwd
BEGIN在读取数据之前执行，END在读完数据之后执行。
将passwd文件以“：”分割开，然后打印每行的第一个元素。
3、内置变量
FS：Field Seperator, 输入时的字段分隔符
# awk 'BEGIN{FS=":"}{print $1,$7}' /etc/passwd
RS：Record Seperator, 输入行分隔符
OFS: Output Field Seperator, 输出时的字段分隔符;
ORS: Outpput Row Seperator, 输出时的行分隔符；
NF：Numbers of Field，字段数
NR：Numbers of Record, 行数；所有文件的一并计数；
FNR：行数；各文件分别计数；
用法：
awk '{print FNR ,$1}' gradt.txt 行号
4、匹配符
例：
awk '/110.52.250.126/ {print $1}' access_2013_05_30.log 所有包含110.52.250.126元素的行
awk ' ($1 ~ /110.52.250.126/) {print $1}' access_2013_05_30.log 所有第一个元素是110.52.250.126元素的行
awk ' ($1 !~ /110.52.250.126/) {print $1}' access_2013_05_30.log 所有第一个元素不是110.52.250.126元素的行
5：网站访问量日志分析
1):首先去掉一些图片、js、css和一些无效的网页请求
awk '($7 !~ /.jpg|.png|.css|.js|.gif/ && $9 ~ /200/){print}' access_2013_05_30.log > clean_2013_05_30.log
将筛选出来的数据重定向到clean_2013_05_30.log日志文件中
2）：统计clean_2013_05_30.log文件中的总数据量（pv数）
awk 'BEGIN{pv=0} {pv++} END{print pv}' clean_2013_05_30.log
3）：统计不同ip访问的次数（uv数）
awk '{print $1}' access_2013_05_30.log|sort -n|uniq -c|wc -l
注意：需要先排序再去重 这样才正确。否则uniq去重只会把挨着相等的去掉。
所以先排序再去重，然后在统计数量
注解：awk '{print $1}' access_2013_05_30.log|sort -n|head –10
可以用head取出访问量比较大的ip,看访问次数判断是否是爬虫