sed

文本处理三剑客

sed命令

文本处理三剑客：

grep, egrep, fgrep：文本过滤器
sed：Stream EDitor，流编辑器，行
awk：文本格式化工具，报告生成器

命令使用格式

sed [OPTION]...  'script'  [input-file] ...

script : 地址定界编辑命令

常用选项

-n：不输出模式空间中的内容至屏幕；
-e: script, --expression=script：多点编辑；

多点编辑 :就是在sed后面可以使用多次-e选项,以便多次添加脚本
-f: /PATH/TO/SED_SCRIPT_FILE 每行一个编辑命令；
-r: --regexp-extended：支持使用扩展正则表达式；
-i:[SUFFIX], --in-place[=SUFFIX]：直接编辑原文件；

~]# sed  -e  's@^#[[:space:]]*@@'   -e  '/^UUID/d'  /etc/fstab

地址定界：

空地址：对全文进行处理；
单地址
- # ：指定行；
- /pattern/ ：被此模式所匹配到的每一行；
地址范围
- #,#：第一行到第几行
- #,+# ：从第几行删除到第几行的后几行
- #，/pat1/ ：
- /pat1/,/pat2/
- $ ：最后一行；
步进 ：~
- 1~2 ：所有奇数行
- 2~2 ：所有偶数行

[root@server xuelong]# sed '12d' fstab
[root@server xuelong]# sed '/^#/d' fstab
[root@server xuelong]# sed '10,+2d' fstab | cat -n
[root@server xuelong]# sed '3,/^#/d' fstab
[root@server xuelong]# sed '1,2d' fstab
[root@server xuelong]# sed '$d' fstab
[root@server xuelong]# sed '1~2d' fstab #删除奇数行,显示偶数行
[root@server xuelong]# sed '2~2d' fstab

编辑命令：

d ：删除模式匹配空间的内容

[root@server xuelong]# sed '1,5d' /etc/fstab #删除模式匹配空间中的第一行到第五行

p ：显示模式空间中的内容；

[root@server xuelong]# sed '2~2p' fstab 

#
#
# /etc/fstab
# Created by anaconda on Sun Aug 13 16:12:46 2017
# Created by anaconda on Sun Aug 13 16:12:46 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
#
UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 /                       xfs     defaults        0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
UUID=3521943b-306e-46bc-858d-33356c4fd37d /home                   xfs     defaults        0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0
[root@server xuelong]# sed -n '2~2p' fstab 
#
# Created by anaconda on Sun Aug 13 16:12:46 2017
# Accessible filesystems, by reference, are maintained under '/dev/disk'
#
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0

a ext：在行后面追加文本“text”，支持使用实现多行追加；

[root@server xuelong]# sed '12a mervin
mervin' fstab | cat -n
     1	
     2	#
     3	# /etc/fstab
     4	# Created by anaconda on Sun Aug 13 16:12:46 2017
     5	#
     6	# Accessible filesystems, by reference, are maintained under '/dev/disk'
     7	# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8	#
     9	UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 /                       xfs     defaults        0 0
    10	UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
    11	UUID=3521943b-306e-46bc-858d-33356c4fd37d /home                   xfs     defaults        0 0
    12	UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0
    13	mervin
    14	mervin

i ext：在行前面插入文本“text”，支持使用实现多行插入

[root@server xuelong]# sed '12i mervin
mervin' fstab | cat -n
     1	
     2	#
     3	# /etc/fstab
     4	# Created by anaconda on Sun Aug 13 16:12:46 2017
     5	#
     6	# Accessible filesystems, by reference, are maintained under '/dev/disk'
     7	# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8	#
     9	UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 /                       xfs     defaults        0 0
    10	UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
    11	UUID=3521943b-306e-46bc-858d-33356c4fd37d /home                   xfs     defaults        0 0
    12	mervin
    13	mervin
    14	UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0

c ext：把匹配到的行替换为此处指定的文本“text”

[root@server xuelong]# sed '12c mervin' fstab | cat -n
     1	
     2	#
     3	# /etc/fstab
     4	# Created by anaconda on Sun Aug 13 16:12:46 2017
     5	#
     6	# Accessible filesystems, by reference, are maintained under '/dev/disk'
     7	# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8	#
     9	UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 /                       xfs     defaults        0 0
    10	UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
    11	UUID=3521943b-306e-46bc-858d-33356c4fd37d /home                   xfs     defaults        0 0
    12	mervin

w /PATH/TO/SOMEFILE：保存模式空间匹配到的行至指定的文件中

[root@server xuelong]# sed '12w /home/xuelong/sed.file' fstab 

#
# /etc/fstab
# Created by anaconda on Sun Aug 13 16:12:46 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 /                       xfs     defaults        0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
UUID=3521943b-306e-46bc-858d-33356c4fd37d /home                   xfs     defaults        0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0
[root@server xuelong]# cat sed.file 
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0

r /PATH/FROM/SOMEFILE：读取指定文件的内容至当前文件被模式匹配到的行后面；文件合并；

[root@server xuelong]# sed '4r /home/xuelong/sed.file' fstab 

#
# /etc/fstab
# Created by anaconda on Sun Aug 13 16:12:46 2017
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 /                       xfs     defaults        0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
UUID=3521943b-306e-46bc-858d-33356c4fd37d /home                   xfs     defaults        0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0

=：为模式匹配到的行打印行号；

[root@server xuelong]# sed '2~2=' fstab | cat -n
     1	
     2	2
     3	#
     4	# /etc/fstab
     5	4
     6	# Created by anaconda on Sun Aug 13 16:12:46 2017
     7	#
     8	6
     9	# Accessible filesystems, by reference, are maintained under '/dev/disk'
    10	# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
    11	8
    12	#
    13	UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 /                       xfs     defaults        0 0
    14	10
    15	UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot                   xfs     defaults        0 0
    16	UUID=3521943b-306e-46bc-858d-33356c4fd37d /home                   xfs     defaults        0 0
    17	12
    18	UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap                    swap    defaults        0 0

!：条件取反；
注意顺序为:地址定界!编辑命令；
s///：查找替换，其分隔符可自行指定，常用的有s@@@, s###等；
- 替换标记：
  - g：全局替换；
  - w /PATH/TO/SOMEFILE：将替换成功的结果保存至指定文件中；
  - p：显示替换成功的行；

练习1：删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符

~]# sed  's@^[[:space:]]+@@' /etc/grub2.cfg

练习2：删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符

~]# sed  's@^#[[:space:]]*@@'  /etc/fstab

练习3：输出一个绝对路径给sed命令，取出其目录，其行为类似于dirname

~]# echo "/var/log/messages/" | sed 's@[^/]+/?$@@'
~]# echo "/var/log/messages" | sed -r 's@[^/]+/?$@@'

高级编辑命令(不要求完全掌握)

h：把模式空间中的内容覆盖至保持空间中；
H：把模式空间中的内容追加至保持空间中；
g：把保持空间中的内容覆盖至模式空间中；
G：把保持空间中的内容追加至模式空间中；
x：把模式空间中的内容与保持空间中的内容互换；
n：覆盖读取匹配到的行的下一行至模式空间中；
N：追加读取匹配到的行的下一行至模式空间中；
d：删除模式空间中的行；
D：删除多行模式空间中的所有行；

示例

sed  -n  'n;p'  FILE：显示偶数行；
sed  '1!G;h;$!d'  FILE：逆序显示文件的内容；
sed  ’$!d'  FILE：取出最后一行；
sed  '$!N;$!D' FILE：取出文件后两行；
sed '/^$/d;G' FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；
sed  'n;d'  FILE：显示奇数行；
sed 'G' FILE：在原有的每行后方添加一个空白行；

博客作业：sed的用法

写一个脚本完成下列功能：	
    实战：判断主机名，如果不是linux-magedu，将主机名修改为magedu.com-IP，并永久生效。
    （提示：IP可通过ifconfig获取，并进行文本处理后获取）
    （实例：IP：172.18.100.1   主机名为local.host，修改后的主机名为：magedu.com-172.18.100.1）
    提示步骤：
    1、IP的获取
    2、主机名的判断
    3、通过命令修改hostname。 
    4、通过sed修改/etc/hostname文件