shell编程系列14--文本处理三剑客之awk的概述及常用方法总结 awk是一个文本处理工具，通常用于处理数据并生成结果报告 awk的命名是它的创始人 Alfred Aho、Peter Weinberger和Brian Kernighan 姓氏的首个字母组成的 awk的工作模式语法格式 第一种形式： awk 'BEGIN{}pattern{commands}END{}' file_name BEGIN在匹配之前就执行的操作，pattern{commands}是对每一行的操作，END是匹配完后的操作 第二种形式： standard output | awk 'BEGIN{}pattern{commands}END{}' 语法格式说明
语法格式 说明 BEGIN{} 正式处理数据之前执行 pattern 匹配模式 {commands} 处理命令，可能多行 END{} 处理完所有匹配数据后执行 awk的内置变量 内置变量对照表（上） 内置变量 含义 $0 整行内容 $1-$n 当前行的第1-n个字段 NF 当前行的字段个数，也就是多少列 NR 当前的行号，从1开始计数 FNR 多文件处理时，每个文件行号单独计数，都是从0开始 FS 输入字段分隔符。不指定默认以空格或tab键分割 RS 输入行分隔符。默认回车换行 OFS 输出字段分隔符。默认为空格 ORS 输出行分隔符。默认为回车换行
内置变量对照表(下) 内置变量 含义 FILENAME 当前输入的文件名字 ARGC 命令行参数个数 ARGV 命令行参数数组
总结： 内置变量： $0 打印行所有信息 $1~$n 打印行的第1到n个字段信息 NF Number Field 处理行的字段个数 NR Number Row 处理行的行号 FNR File Number Row 多文件处理时，每个文件单独记录行号 FS Field Separator 字段分隔符，不指定时默认以空格或tab键分割 RS Row Separator 行分隔符，不指定时以回车换行分割 OFS Output Filed Separator 输出字段分隔符 ORS Output Row Separator 输出行分隔符 FILENAME 处理文件的文件名 ARGC 命令行参数个数 ARGV 命令行参数数组 # 输出整行数据 [root@localhost shell]# awk '{print $0}' passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin polkitd:x:999:998:User for polkitd:/:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin ajie:x:1000:1000:ajie:/home/ajie:/bin/bash chrony:x:998:996::/var/lib/chrony:/sbin/nologin deploy:x:1001:1001::/home/deploy:/bin/bash nginx:x:997:995:Nginx web server:/var/lib/nginx:/sbin/nologin # FS指定分隔符 [root@localhost shell]# awk 'BEGIN{FS=":"}{print $1}' passwd root bin daemon adm lp sync shutdown halt mail operator games ftp nobody systemd-network dbus polkitd sshd postfix ajie chrony deploy nginx # 默认以空格或者tab为分隔符 [root@localhost shell]# cat list Hadoop Spark Flume Java Python Scala Allen Mike Meggie [root@localhost shell]# awk '{print $1}' list Hadoop Java Allen [root@localhost shell]# awk 'BEGIN{FS=" "}{print $1}' list Hadoop Java Allen # NF 输出每一行的字段个数 [root@localhost shell]# cat list Hadoop Spark Flume Java Python Scala Golang Allen Mike Meggie [root@localhost shell]# awk '{print NF}' list 3 4 3 # NR 行号，处理多个文件(list,passwd,/etc/fstab)时行号累加 [root@localhost shell]# awk '{print NR}' list passwd /etc/fstab 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 # FNR在处理两个文件以上时会单独计数 [root@localhost shell]# awk '{print FNR}' list passwd /etc/fstab 1 2 3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 1 2 3 4 5 6 7 8 9 10 11 12 [root@localhost shell]# cat list Hadoop|Spark:Flume Java|Python:Scala:Golang Allen|Mike:Meggie # 以 | 符号分隔列 [root@localhost shell]# awk 'BEGIN{FS="|"}{print $2}' list Spark:Flume Python:Scala:Golang Mike:Meggie # 以 : 符号分隔列 [root@localhost shell]# awk 'BEGIN{FS=":"}{print $2}' list Flume Scala Meggie # RS 指定行分隔符： -- [root@localhost shell]# cat list Hadoop|Spark|Flume--Java|Python|Scala|Golang--Allen|Mike|Meggie [root@localhost shell]# awk 'BEGIN{RS="--"}{print $0}' list Hadoop|Spark|Flume Java|Python|Scala|Golang Allen|Mike|Meggie [root@localhost shell]# awk 'BEGIN{RS="--";FS="|"}{print $3}' list Flume Scala Meggie # ORS输出分隔符，以&连接各输出行 [root@localhost shell]# awk 'BEGIN{RS="--";FS="|";ORS="&"}{print $3}' list Flume&Scala&Meggie # 字段默认分隔符是空格 [root@localhost shell]# awk 'BEGIN{RS="--";FS="|";ORS="&"}{print $1,$3}' list Hadoop Flume&Java Scala&Allen Meggie & # OFS 指定字段分隔符为 : [root@localhost shell]# awk 'BEGIN{RS="--";FS="|";ORS="&";OFS=":"}{print $1,$3}' list Hadoop:Flume&Java:Scala&Allen:Meggie & # FILENAME 文件名 [root@localhost shell]# awk '{print FILENAME}' list list # 输出3次文件名list，是因为没有输入匹配模式 awk默认是行处理，文本有3行，处理三次会有3次输出 [root@localhost shell]# cat list Hadoop|Spark|Flume--Java|Python|Scala|Golang--Allen|Mike|Meggie Test File Line [root@localhost shell]# awk '{print FILENAME}' list list list list # ARGC命令行参数个数 [root@localhost shell]# awk '{print ARGC}' list 2 2 2 [root@localhost shell]# awk '{print ARGC}' list /etc/fstab 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 # NF表示字段个数，NF=7 $NF 就是$7 表示最后一个字段 [root@localhost shell]# awk 'BEGIN{FS=":"}{print $NF}' /etc/passwd /bin/bash /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /bin/sync /sbin/shutdown /sbin/halt /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /bin/bash /sbin/nologin /bin/bash /sbin/nologin