文本处理命令--wc、sed

一、wc

 wc命令的功能为统计指定文件中的字节数、字数、行数,并将统计结果显示输出。

测试文件内容:

(my_python_env)[root@hadoop26 ~]# cat test
hnlinux
peida.cnblogs.com
ubuntu
ubuntu linux
redhat
Redhat
linuxmint

1.1最基本的用法

(my_python_env)[root@hadoop26 ~]# wc test
 7  8 70 test

其中7代表行数

8是单词书,一个单词被定义为由空格、制表符或者换行符分割的字符串

70是字节数

1.2-l计算行数

(my_python_env)[root@hadoop26 ~]# wc -l test
7 test

1.3-w计算单词数

(my_python_env)[root@hadoop26 ~]# wc -w test
8 test

1.4-c计算字节数

(my_python_env)[root@hadoop26 ~]# wc -c test
70 test

1.5-L打印最长行的长度

(my_python_env)[root@hadoop26 ~]# wc -L test
17 test

1.6用wc命令怎么做到只打印统计数字不打印文件名?

使用管道可以做到,这在shell脚本中特别有用

(my_python_env)[root@hadoop26 ~]# cat test | wc -l
7

二、sed

sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。

2.1sed的使用参数

[root@www ~]# sed [-nefr] [动作]
选项与参数:
-n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e :直接在命令列模式上进行 sed 的动作编辑;
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到终端。

动作说明: [n1[,n2]]function
n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』

function:
a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!

2.2d删除

将/etc/passwd的内容列出并且列出行号,同时,将2~5行删除

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2,5d'
     1    root:x:0:0:root:/root:/bin/bash
     6    sync:x:5:0:sync:/sbin:/bin/sync
     7    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8    halt:x:7:0:halt:/sbin:/sbin/halt
     9    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

注意sed后面接的动作需要使用单引号

只删除第2行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2d'
     1    root:x:0:0:root:/root:/bin/bash
     3    daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4    adm:x:3:4:adm:/var/adm:/sbin/nologin
     5    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

删除第3行到最后一行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '3,$d'
     1    root:x:0:0:root:/root:/bin/bash
     2    bin:x:1:1:bin:/bin:/sbin/nologin

2.3a和i选项的增加

在/etc/passwd第三行增加一行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2a this is a extend row'
     1    root:x:0:0:root:/root:/bin/bash
     2    bin:x:1:1:bin:/bin:/sbin/nologin
this is a extend row
     3    daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4    adm:x:3:4:adm:/var/adm:/sbin/nologin

上面的需求还可以使用-i选项来实现

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '3i this is a extend row'
     1    root:x:0:0:root:/root:/bin/bash
     2    bin:x:1:1:bin:/bin:/sbin/nologin
this is a extend row
     3    daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4    adm:x:3:4:adm:/var/adm:/sbin/nologin

2.4-c选项的替换

将2~5行的内容替换掉

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2,5c 2-5 rows'
     1    root:x:0:0:root:/root:/bin/bash
2-5 rows
     6    sync:x:5:0:sync:/sbin:/bin/sync
     7    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

2.5-n和-p

仅列出文件的5-7行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '5,7p'
     5    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6    sync:x:5:0:sync:/sbin:/bin/sync
     7    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

2.6数据搜寻

搜索有root关键字的行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/p'
     1    root:x:0:0:root:/root:/bin/bash
    11    operator:x:11:0:operator:/root:/sbin/nologin

搜索有root关键字的行,并删除

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed  '/root/d'
     2    bin:x:1:1:bin:/bin:/sbin/nologin
     3    daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4    adm:x:3:4:adm:/var/adm:/sbin/nologin
     5    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

数据搜寻+执行命令

搜索/etc/passwd,找到root对应的行,执行后面花括号中的一组命令,每个命令之间用分号分隔,这里把bash替换为blueshell,再输出这行:

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'
     1    root:x:0:0:root:/root:/bin/blueshell
    11    operator:x:11:0:operator:/root:/sbin/nologin

如果只替换/etc/passwd的第一个bash关键字为blueshell,就退出

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}'
     1    root:x:0:0:root:/root:/bin/blueshell

最后的q是退出

2.7数据搜寻与替换

除了整行的处理模式之外, sed 还可以用行为单位进行部分数据的搜寻并取代。基本上 sed 的搜寻与替代的与 vi 相当的类似!他有点像这样:

sed 's/要被取代的字串/新的字串/g'

(my_python_env)[root@hadoop26 ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g'
192.168.223.129  Bcast:192.168.223.255  Mask:255.255.255.0

接下来则是删除后续的部分,亦即: 192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0

(my_python_env)[root@hadoop26 ~]#  /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' | sed 's/Bcast.*$//g'
192.168.223.129 

2.8多点编辑

一条sed命令,删除/etc/passwd第三行到末尾的数据,并把bash替换为blueshell

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/'
     1    root:x:0:0:root:/root:/bin/blueshell
     2    bin:x:1:1:bin:/bin:/sbin/nologin

-e表示多点编辑,第一个编辑命令删除/etc/passwd第三行到末尾的数据,第二条命令搜索bash替换为blueshell。

原文地址:https://www.cnblogs.com/dongdone/p/5722539.html