Linux--sed命令

sed:Stream Editor文本流编辑,处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件,可以将数据行进行替换、删除、新增、选取等特定工作,简化对文件的反复操作,编写转换程序等。

语法定义:

  命令格式:sed [options] 'command' file(s)

  脚本格式:sed [options] -f scriptfile file(s)

选项(options):

 -e :直接在命令行模式上进行sed动作编辑,此为默认选项;
-f :将sed的动作写在一个文件内,用–f filename 执行filename内的sed动作;
-i :直接修改文件内容;
-n :只打印模式匹配的行;
-r :支持扩展表达式;

常用命令(commonds):

a 在当前行下面插入文本;
i 在当前行上面插入文本;
c 把选定的行改为新的文本;
d 删除,删除选择的行;
D 删除模板块的第一行;
s 替换指定字符;
h 拷贝模板块的内容到内存中的缓冲区;
H 追加模板块的内容到内存中的缓冲区;
g 获得内存缓冲区的内容,并替代当前模板块中的文本;
G 获得内存缓冲区的内容,并追加到当前模板块文本的后面;
l 列表不能打印字符的清单;
n 读取下一个输入行,用下一个命令处理新的行而不是用第一个命令;
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码;
p 打印模板块的行。 P(大写) 打印模板块的第一行;
q 退出Sed;
b lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾;
r file 从file中读行;
t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾;
T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾;
w file 写并追加模板块到file末尾;
W file 写并追加模板块的第一行到file末尾;
! 表示后面的命令对所有没有被选定的行发生作用;
= 打印当前行号;
# 把注释扩展到下一个换行符以前;

替换标记:

g 表示行内全面替换;
p 表示打印行;
w 表示把行写入一个文件;
x 表示互换模板块中的文本和缓冲区中的文本;
y 表示把一个字符翻译为另外的字符(但是不用于正则表达式);
1 子串匹配标记;
& 已匹配字符串标记;

常用实例操作:

#替换文本中是=的字符串:将0,5,9替换为8
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat passwd | tail -n 3 | cut -d : -f 1 | sed 's/[0,5,9]/8/g'
18888878638
18868186716
13838888228

备注:后缀 /g 标记会替换每一行中的所有匹配

#选项-i,直接编辑文件
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
a
aa
aaa
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -i 's/a/b/g' a.txt 
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb
bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ 

删除操作:d命令

#删除空白行
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb


bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '/^$/d' a.txt 
b
bb
bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb


bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -i '/^$/d' a.txt 
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb
bbb

#删除第二行
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '2d' a.txt 

#文件合成一行
sed ':a ; N;s/ / / ; t a ; ' file
 

sed查看某时间段到现在的系统日志:

  sed -n '/May 20 17/,$p' file

[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -n '/05/Dec/2018:23:59:59/,$p' 1206_2.log 
101.89.64.229 - - [05/Dec/2018:23:59:59 +0000] "GET /cable HTTP/1.1" 404 45 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36" 0.004 0.004 .
216.244.66.241 - - [05/Dec/2018:23:59:53 +0000] "GET /topics/9560/replies/82900/edit HTTP/1.1" 301 5 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" 0.001 0.001 .

sed截选时间段日志

  sed -n '/2018-12-16 00:00:00/,/2018-12-30 00:00:00/p' file

[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -n '/05/Dec/2018:23:59:58/,/05/Dec/2018:23:59:59/p' 1206_2.log 
216.244.66.241 - - [05/Dec/2018:23:59:58 +0000] "GET /topics/9648?locale=zh-CN HTTP/1.1" 301 5 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" 0.001 0.001 .
46.4.69.124 - - [05/Dec/2018:23:59:55 +0000] "GET /topics/13105 HTTP/1.1" 200 17718 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" 0.384 0.384 .
46.4.69.124 - - [05/Dec/2018:23:59:56 +0000] "GET /softblank HTTP/1.1" 200 7944 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" 0.109 0.109 .

显示:n p搭配

sed -n '/$/p' filename  查询包括关键字$所在的所有行(使用反斜线屏蔽特殊含义)。

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 

b
$1

bb
$22
$333
$@$%^&

bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -n '/$/p' a.txt 
$1
$22
$333
$@$%^&

删除:d

sed '2d' filename  删除filename文件的第2行

sed '$d' filename  删除filename文件的最后一行  

sed '2,$d' filename  删除filename文件的第2行到末尾所有行

sed '/some/'d filename  删除filename文件中所有包含some的行

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 

b
$1

bb
$22
$333
$@$%^&

bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '1,/$1/d' a.txt 

bb
$22
$333
$@$%^&

bbb

增加:a

sed '1,3a hello world' filename  在第一行到第三行后面增加字符串hello world。

sed '1a hello world' filename  在第一行后增加多行,使用换行符 。

sed '/^some/a\hello' filename  hello被追加到以some开头的行后面。sed要求命令a后面有一个反斜杠。

写入:i

sed -i '$a bye' filename  在filename中最后一行直接输入bye。

sed '/some/i\a new line' filename  如果some被匹配,则把反斜杠后面的文本插入到匹配行的前面。

代替:c

sed '/^$/c new year' filename   将空行用new year替换 

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 

b
$1

bb
$22
$333
$@$%^&

bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '/^$/c You' a.txt 
You
b
$1
You
bb
$22
$333
$@$%^&
You
bbb

替换:s

sed -n '/hello/p' filenme | sed 's/hello/hi/g'  将filename中的hello替换为hi。

sed -n '/hello/p' filename | sed 's/hello//g'  将filename中的hello删除。

sed 's/some/someone/g' filename  在整行范围内把some替换为someone。如果不加g标识,则只有每行第一个匹配的some被替换成someone

sed -n 's/^some/someone/p' filename  -n选项和p标识一起使用,表示只打印那些发生替换的行,也就是说,如果某行开头的some被替换成someone,就打印该行。sed -n 's/^some/someone/gp' filename是如果某行的some被替换成someone,就打印该行。

sed 's/^192.168.0.1/&localhost/' filename  所有以192.168.0.1开头的行都会被替换成它自己加localhost,变成192.168.0.1localhost。

sed -n 's/(love)able/1rs/p' filename  love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。

sed 's#10#100#g' filename  不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,#在这里是分隔符,代替了默认的/分隔符。表示把所有10替换成100。

选定的范围:逗号

sed -n '/one/,/two/p' filename  所有在模板one和two所确定的范围内的行都被打印。

sed -n '5,/^some/p' filename  打印从第5行开始到第一个包含以some开头的行之间的所有行。

sed '/one/,/two/s/$/some/' filename  对于模板one和two之间的行,每行的末尾用字符串some替换。

多命令:e

sed -e '1,5d' -e 's/some/someone/' filename  -e选项允许在同一行里执行多条命令。第一条命令删除1至5行,第二条命令用some替换someone。命令的执行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。

sed --expression='s/some/someone/' --expression='/love/d' filename  一个比-e更好的命令是--expression,它能给sed表达式赋值。

从文件读入:r

sed '/some/r file' filename  file里的内容被读进来,显示在与some匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面。

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat b.txt 
b
bb
bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '/You/r b.txt' a.txt 
You
b
bb
bbb
b
$1
You
b
bb
bbb
bb
$22
$333
$@$%^&
You
b
bb
bbb
bbb

写入文件:w命令

sed -n '/some/w file' filename  在filename中所有包含some的行都被写入file里,并且会覆盖file的内容。

下一个:n命令

sed '/some/{ n; s/aa/bb/; }' filename  如果some被匹配,则移动到匹配行的下一行,把这一行的aa替换成bb,并打印该行,然后继续。

变形:y命令

sed '1,10y/abc/ABC/' filename  把1到10行内所有的abc转换为大写。注意,正则表达式元字符不能使用这个命令。

退出:q命令

sed '10q' filename  打印完第10行后退出sed。

等等等。。。。。。

原文地址:https://www.cnblogs.com/fqfanqi/p/10126302.html