一、sed
作用: sed 是一种流编辑器，它是文本处理中非常重要的工具， 能够完美的配合正则表达式使用。处理时，把当前处理的行存储在临时缓冲区中， 称为“模式空间（pattern space）”，接着用sed 命令处理缓冲区中的内容， 处理完成后， 把缓冲区中的内容送往屏幕。 接着处理下一行，不断重复， 直到文件末尾。 文件内容并没有改变，除非你使用重定向存储输出。sed 主要用来自动编辑一个或多个文件；简化对文件的反复操作； 编写转换程序等。
命令格式：
sed [options] 'command' file(s)sed [options] -f scriptsfile file(s)
选项：
-e <script> --expression ： 以选项中的指定script来处理输入的文本文件-f <script> --file :以选项中指定的script 文件来处理输入的文本文件-n --quiet ： 仅显示script处理后的结果
sed 命令：
a 在当前行下面插入文本i 在当前行上面插入文本c 把选定的行改为新的文本d 删除，删除选择的行D 删除模板块的第一行s 替换指定字符h 拷贝模块板的内容到内存中的缓冲区H 追加模板块的内容到内存中的缓冲区g 获得内存缓冲区的内容，并替代当前模板块中的文本。G获得内存缓冲区的内容，并追加当前模板块中的文本。l 列表不能打印字符的清单。n 读取下一个输入行， 用下一个命令处理新的行而不是第一个命令。N 追加下一个输入行到模板块并在两者间嵌入一个新行，改变当前行号码p 打印模板块的行P 打印模板块的第一行q 退出sedb label 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾r file 从file中读行t lable if 分支，从最后一行开始，条件一单满足，将导致分支到带有标号的命令处，或者到脚本的末尾Tlabel 错误分支，从最后一行开始，一单发生错误，将导致分支到带有标号的命令处，或者脚本的末尾w file 写并追加模板块到file 末尾W file 写并追加模板板块的第一行到file末尾！ 表示后面的命令对所有没有选定的行发生作用= 打印当前行号码# 把注释扩展到下一个换行符以前、
sed 替换标志
g 表示行内全面替换p 表示打印行w 表示把行写入一个文件x 表示互换模板块中的文本和缓冲区中的文本y 表示把一个字符翻译为另外的字符（不用于正则表达式）1 子串匹配标记& 已匹配字符串标记
sed 元字符集
^ 匹配行开始， 如： /^sed/ 匹配所有以sed开头的行
$ 匹配行结束， 如：/sed$ / 匹配所有以sed 结尾的行
. 匹配一个非换行符的任意字符， 如： /s.d/ 匹配s 后接一个任意字符，最后是d
* 匹配0 个或多个字符， 如：/s*ed/ 匹配0个或多个s 字符， 最后是ed
? 匹配0个或一个字符， 如：/s? ed/ 匹配 0个或一个s 字符，最后是ed
[] 匹配一个指定范围内的字符，如/[sS] ed / 匹配 sed 或Sed
[^] 匹配一个不再指定范围的字符，如： /[^A-RT-Z]ed/ 匹配不包含A-R T-Z 的一个字母开头，后面是ed
(..) 匹配子串，保存匹配的字符， 如：/s/(love)able/1rs , loveable 被替换成lovers
& 保存收缩字符用来替换其他字符，如：s/love/**&**/, love 替换成 **love**.
< 匹配单词的开始， 如：/<love/ 匹配包含以love 开头的单词的行
> 匹配单词的结束， 如：/love>/ 匹配包含以love 结束的单词的行
x{m} 重复字符x ,m 次，如 ：/0{5} 匹配包含5个0 的行
x{m,} 重复字符x ,至少m 次， 如：/0{5,} 匹配包含至少5个0 的行
x{m,n} 重复字符x, 至少m 次，不多于n次 ， 如：/0{5,10} 匹配包含5-10 个0的行
sed 用法实例
替换文本中的字符串sed 's/book/books/' file-n p 一起使用表示只打印那些发生替换的行sed -n 's/test/TEST/p' file直接编辑文件选项-i ，会匹配文件中每一行的第一个book 替换成bookssed -i 's/book/books/g' file当需要从第N处匹配开始替换时，可以使用/NG；echo sksksksksksksk |sed 's/sk/SK/2g'skSKSKSKSKSKSKecho sksksksksksksk |sed 's/sk/SK/3g'skskSKSKSKSKSKecho sksksksksksksk |sed 's/sk/SK/4g'skskskskSKSKSK
定界符
命令中字符/在sed中作为定界符使用，也可以使用任意的定界符
sed 's:test:TEST:g'
sed 's|test|TEST|g'
定界符出现在样式内部时，需要进行转义
sed 's//bin//user/local/bin/g'
删除操作
删除空白行
sed '/^$/d' file
删除空格行
sed '/^ $/d' file
删除文件第二行
sed '2d' file
删除文件第二行至末尾所有行
sed '2,$d' file
删除文件最后一行
sed '$d' file
删除文件中所有开头是test 的行
sed '/^test/'d file / sed '/^test/d' file已匹配字符串标记&
正则表达式w+ 匹配每一个单词，使用[&] 来替换它， &对应于之前匹配到的单词echo this is a test line| sed 's/w+[&]/g'[this][is][a][test][line]所有以192.168.0.1开头的行都会被替换成它自己加localhostsed 's/^192.168.0.1/&localhost/' file192.168.0.1localhost
子串匹配标记1
匹配给定样式中的其中一部分
echo this is a digit 7 in a number | sed 's/digit ([0-9]）/1/'
this is 7 in a number
echo aaa BBB | sed 's/([a-z]+) (A-Z]+) /2 1/'
BBB aaa
组合多个表达式
sed '表达式1' | sed '表达式2'sed '表达式1;表达式2'
引用
sed 表达式可以使用单引号来引用，但是如果表达式内容包含变量字符串，就需要使用双引号test =helloecho hello world | sed “s/$test/HELLO"HELLO world
选定行的范围： ， 逗号
所有在模板块test 和check 所确定的范围内的行都被打印
sed -n '/test/,/check/p' file
打印从第五航开始到第一个包含以test开始的行之间的所有行
sed -n '5,/^test/p' file
对于模板块test 和 west 之间的行， 每行的末尾用字符串aaa bbb 替换
sed '/test/,/west/s/$/aaa bbb/' file
多点编辑： e命令
-e 选项允许在同一行里执行多条命令sed -e '1,5d' -e 's/test/check/' file 或 sed --expression='s/test/check/' --expression='/love/d' file
从文件读入： r命令
file 里的内容被读进来，显示在与test匹配的行后面，如果匹配多行， 则file的内容将显示在所有匹配行下面。sed '/test/r file' filename
写入文件： w 命令
在example中所有包含test的行都被写入到file里sed -n '/test/w file' example file中原有数据被覆盖。
追加（行下） a 命令
将this is a test line 追加到以test 开头的行后面sed '/^test/a his is a test line' file在test.conf 文件第二行之后插入this is a test linesed -i '2a his is a test line' test.conf （-i 写入文件 不加则临时写入）
插入（行上） i 命令
sed '/^test/i his is a test line' file 不写入sed -i '5i his is' file 写入第五航之前
变形： y 命令
把1-10行内所有的abcde 转换为大写，注意，正则表达式元字符不能使用此命令sed '1,10y/abcde/ABCDE' file 单独修改每一个字符
退出： q 命令
打印完第十行之后，退出sed '10q' file
保持和获取： h G 命令
在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中， 除非行被删除或者输出被取消， 否则所有被处理的行都将被打印在屏幕上， 接着模式空间被清空， 并存如新的一行待处理.任何包含test的行都将被复制并追加到文件末尾sed -e '/test/h' -e '$G' file
保持和互换 ： h x 命令
互换模式空间和保持缓冲区的内容，也就是把包含test 和check 的行互换sed -e '/test/h' -e '/check/x' file
脚本scriptfile
sed 脚本是一个sed的命令清单， 启动sed时以-f 选项引导脚本文件名， sed对于脚本中输入的命令非常挑剔，在命令的末尾不能有任何空白或文本，如果在一行中有多个命令。 要用分号分隔。 以#开头的行为注释行，不能跨行sed [option] -f scriptfile files
打印奇数行或偶数行
sed -n 'p;n' test 奇数sed -n 'n;p' test 偶数sed -n '1~2p' test 奇数sed -n '2~2p' test 偶数
打印匹配字符串的下一行
grep -A 1 SCC URFILEsed -n '/SCC/{n;p}' URFILEawk '/SCC/{getline;print}' URFILE
二、awk
作用：awk 是一种编程语言， 用于在linux/unix 下对文本和数据进行处理。 数据可以来自标准输入（stdin），一个或多个文件， 或其他命令的输出。它支持用户自定义函数和动态正则表达式等先进功能， 是linux/unix下的一个强大编程工具。它在命令行中使用， 但更多是作为脚本来使用。 awk 有很多内建的功能， 比如数据，函数等。 这是它和C语言的相同之处。
awk 命令格式和选项
语法形式：
awk [options] 'script' var=value file
awk [options] -f scriptfile var=value file常用命令选项：
awk 模式和操作-F fs 指定输入分隔符， fs 可以似乎字符串或正则表达式-v var=value 赋值一个用户定义变量，将外部变量传递给awk-f scriptfile 从脚本文件中读取awk 命令
awk 脚本基本结构awk 脚本是由模式和操作组成的*模式可以是一下任意一个/正则表达式/: 使用通配符的扩展集关系表达式： 使用运算符进行操作， 可以是字符串或数字的比较测试模式匹配表达式： 用运算符~ 匹配 ~！ 不匹配BEGIN 语句块、pattern语句块、END语句块*操作操作由一个或多个命令，函数，表达式组成，之间用换行符或分号隔开， 并位于大括号内，主要部分是：变量或数组赋值 ， 输出命令， 内置函数， 控制流语句
awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' fileawk "BEGIN{ i=0} {i++} END{ print i}" fileawk 'BEGIN{ i=0} {i++} END{ print i}' file一个awk 脚本通常由： BEGIN语句块，能够使用模式匹配的通用语句块，END语句块3本分组成， 这三个部分是可选的。任意一部分都可以不出现在脚本中， 脚本通常是在单引号或双引号中。
awk 的工作原理
实例：awk 'BEGIN{ commands} pattern {commands} END{ commands}'第一步：执行BEGIN{ commands} 语句块中的语句第二部： 从文件或标准输入（stdin）读取一行， 然后执行pattern {commands} 语句块，它逐行扫描文件，从第一行到最后一行重复这个过程， 知道文件全部被读取完毕第三部： 当读取至输入流末尾时， 执行END{commands}语句块BEGIN: 在awk 开始从输入流中读取行之前被执行， 这是可选语句块 ， 比如变量初始化，打印输出列表的表头等语句通常可以写在BEGIN语句块中pattern: 通用命令是最重要的部分，它也是可选的， 如果没有提供pattern 与句酷，则默认执行{pring},即打印每一个读取到的行，awk 读取的每一行都会执行该语句块END： 在awk输入流读取完所有的行之后即被执行，比如所有行的汇总信息都是在END语句块中完成 ，可选
echo -e "A line 1 A line 2" | awk 'BEGIN{ print "start"} {print} END{print "end"}'echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1,var2,var3; }'v1 v2 v3当使用不带参数的print时，它就打印当前行，当print的参数是以逗号进行分隔时，打印时则以空格作为定界符。在awk的print语句块中双引号是被当作拼接符使用echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1"="var2"="var3; }' v1=v2=v3双引号拼接使用
awk 内置变量：
实例：说明：【A】awk 【N】nawk【P】POSIXawk【G】gawk 表示第一个支持变量的工具$n 当前记录的第n个字段， 当n =0 时包括整行[N] ARGC 命令行参数的数目[G] ARGIND 命令行中当前文件的位置 从0 开始算[N] ARGV 包含命令行参数的数组[G] CONVFMT 数字转换格式（默认值%。6g）[P] ENVIRON 环境变量关联数组[N] ERRNO 最后一个系统错误的描述[G] FIELDWIDTHS 字段宽度列表 （空格键分隔）[A] FILENAME 当前输入文件的名[P] FNR 同NR 但相对于当前文件[A] FS 字段分隔符（默认是空格）[G] IGNORECASE 如果为真， 则进行忽略大小写的匹配[A] NF 表示字段数， 在执行过程中对应于当前的字段数[A] NR 表示记录数， 在执行过程中对应于当前的行号[A] OFMT 数字的输出格式（默认是%。6g）[A] ORS 输出记录分隔符 （默认是一个换行符）[A] OFS 输出字段分隔符（默认是一个空格）[A] RS 记录分隔符（默认是一个换行符）[N] RSTART 由match 函数所匹配的字符串的第一个位置[N] RLENGTH 由match 函数所匹配的字符串长度[N] SUBSEP 数组下标分隔符（默认值是34）
将外部变量值传递给awk*echo -e "line1 f2 f3 line2 f4 f5 line3 f6 f7" | awk '{print "line No:"NR",No of fields:"NF,"$0="$0."$1="$1,"$2="$2,"$3="$3}'Line No:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3Line No:2, No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5Line No:3, No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7*echo -e "line1 f2 f3 line2 f4 f5" | awk '{print $NF}'print $NF 可以打印出一行中的最后一个字段， 使用$(NF-1) 是打印倒数第二个字段。*echo -e "line1 f2 f3 line2 f4 f5" | awk '{print $2，$3}'打印每一行的第二和第三个字段*awk 'END{ print NR}' filename统计文件中的行数*seq 5 | awk 'BEGIN{ sum=0; print "总和："} {print $1"+"; sum+=$1} END{print "等于"; print sum}'每行第一个字段值累加
借助-v 选项，可以将外部值（并非来自stdin） 传递给awkVAR=1000echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'
awk 运算与判断
*算术运算符：作为一种程序设计语言所应具有的特点之一， awk 支持多种运算， 这些运算与C语言提供的基本相同。awk 还提供了一系列内置的运算函数（如 log ,sqr ,cos,sin） 和一些对于字符串进行操作的函数（length,substr） 。这些函数的引用大大的提高了awk 的运算功能。 作为对条件转移指令的一部分， 反洗判断是美中程序设计语言都具备的功能， awk 也不例外，awk中允许进行多种测试， 作为样式匹配， 还提供了模式匹配表达式~ （匹配）和~！ （不匹配） 。 作为对测试的一种扩充，awk 支持用逻辑运算符。
+ - : 加减* / &：乘除 求余+ - ！ : 一元加，减和逻辑非^*** : 求幂++ -- : 增加或减少， 作为前缀或后缀例： awk ‘BEGIN{ a=0; print a++,++a;}'0 2a++ : 先输出，再自加1，++a : 先自加1，再输出，所有用做算术运算符进行操作， 操作数自动转为数值， 所有非数值都变为0
*赋值运算符
= += -= *= /= %= ^= **= 赋值语句例： a+= 5; a=a+5;
*逻辑运算符
|| 或&& 与例： awk 'BEGIN{ a=1;b=2; print (a>5 &&b<=2), (a>5) || b<=2);}'0 1
*正则运算符
~ ~！例： awk 'BEGIN{ a="100test"; if(a ~ /^100*/) {print "ok" ;} }'
*关系运算符
< <= > >= != == 关系运算符
例： awk 'BEGIN{ a=11; if (a>9) {print "ok"}}'
>< 可以作为字符串比较，也可以用作数值比较， 关键看操作数如果是字符串就会转换为字符串比较。 两个都为数字才转为数值比较。 字符串比较： 按照ASCII 码顺序比较。* 其他运算符
$ 字段引用
空格 字符串连接符
?: c条件表达式
in 数组中是否存在某键值
例： awk 'BEGIN{a="b"; print a=="b"? "ok":"err";}'
awk 'BEGIN{a="b"; arr[0]="b"; arr[1]="c" ; print (a in arr);}' 打印所在数组位置0
* 运算级优先级表
1 =，+=，-=，*=，/=, &=,^=,|=,<<=,>>= 赋值，运算2 || 逻辑或3 && 逻辑与4 | 按位或5 ^ 按位异或6 & 按位与7 ==，！= 等于， 不等于8 <= ,>=,<,> 小于等于，大于等于，小于，大于9 << ,>> 按位左移， 按位右移10 +，- 加 减11 *，/, % 乘除取余12 ！，~ 逻辑非，按位取反或补码13 -，+ 正，负级别越高越优先
awk 高级输入输出
设置字段定界符读取下一条记录， awk 中next 语句使用： 在循环逐行匹配， 如果遇到next ，就会跳过当前行， 直接忽略下面语句， 进行下一条语句。awk 'NR%2==1{next}{print NR, $0;}' test.txt,奇数行跳过，偶数行打印awk '/^web/{T=$0;next;} {print T ": " $0;}' test.txt 将包含web 行进行跳过，与下面不包含web 行合并
默认的字段定界符（分隔符）是空格， 可以使用-F "定界符" 明确指定一个定界符awk -F : '{ print $NF }' /etc/passwdawk 'BEGIN{FS=":" } {print $NF}' /etc/passwd
简单读取一条记录
awk getline 用法： 输出重定向需用到 getline 参数。 getline 从标准输入，管道或者当前正在处理的文件之外的其他文件获得输入。 它负责从输入获得下一行的内容， 并给NF，NR 和FNR等内建变量赋值。 如果得到一条记录，getline 函数返回1 ， 如果到达文件的末尾就返回0 ， 如果出现错误，则返回-1 。