linux三剑客：grep、sed、awk
与sed类似，awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，它可以对每一行进行切片处理
awk处理过程: 依次对每一行进行处理，然后输出
awk命令形式:
awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
' ' 引用代码块
BEGIN 初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
// 匹配代码块，可以是字符串或正则表达式
{} 命令代码块，包含一条或多条命令
； 多条命令使用分号分隔
END 结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息
01内部变量
$0 表示整个当前行 $1 每行第一个字段 NF 字段数量变量 NR 每行的记录号，多文件记录递增 FNR 与NR类似，不过多文件记录不递增，每个文件都从1开始
FILENAME 文件名
eg：
awk -F ':' '{print $1}' /etc/passwd
awk -F ':' '{PRINT $0}' /etc/passwd
02模式匹配
~ 匹配，与==相比不是精确比较 !~ 不匹配，不精确比较 == 等于，必须全部相等，精确比较 != 不等于，精确比较
== 等于，必须全部相等，精确比较
!= 不等于，精确比较
&& 逻辑与
|| 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
eg:
awk -F ':' '$1~/^h.*/{print $0,NR}' /etc/passwd
输出以h开头的行及行号
03
-F'[:#/]' 定义三个分隔符
04条件判断
awk -F ':' '{if ($3>999) print $3}' /etc/passwd awk -F ':' '$3>999{print $0}' /etc/passwd
06实战：
061统计当前文件夹下 文件/文件夹占用的大小
#方法一
du -sh .
#方法二
ls -l |awk 'BEGIN{size=0}{size+=$5}END{print "the size is " size}'
062统计UID大于100的用户数
awk -F ':' 'BEGIN{count=1} {if($3>100) name[count++]=$1} END{for (i=0;i<count;i++) print i,name[i]}' /etc/passwd