wc
用来统计文件的相关信息
[06:49:57 root@C8-3-55 ~]#wc --help
用法：wc [选项]... [文件]...
或：wc [选项]... --files0-from=F
Print newline, word, and byte counts for each FILE, and a total line if
more than one FILE is specified. A word is a non-zero-length sequence of
characters delimited by white space.
如果没有指定文件，或者文件为"-"，则从标准输入读取。
The options below may be used to select which counts are printed, always in
the following order: newline, word, character, byte, maximum line length.
-c, --bytes print the byte counts
-m, --chars print the character counts
-l, --lines print the newline counts
--files0-from=F read input from the files specified by
NUL-terminated names in file F;
If F is - then read names from standard input
-L, --max-line-length print the maximum display width
-w, --words print the word counts
--help 显示此帮助信息并退出
--version 显示版本信息并退出
用wc统计passwd文件相关信息
[06:50:33 root@C8-3-55 ~]#wc /etc/passwd
139 180 6296 /etc/passwd
[06:58:49 root@C8-3-55 ~]#cat -n /etc/passwd | tail -n 1 ## passwd有139行
139 user100:x:8990:8990::/home/user100:/bin/bash
[06:53:25 root@C8-3-55 ~]#ll /etc/passwd ## passwd有6296字节
-rw-r--r--. 1 root root 6296 3月 6 08:09 /etc/passwd
[06:51:19 root@C8-3-55 ~]#wc -l /etc/passwd
139 /etc/passwd
[06:51:25 root@C8-3-55 ~]#cat /etc/passwd | wc -l
139
[06:52:36 root@C8-3-55 ~]#wc -L /etc/passwd ## 最长的行
99 /etc/passwd
- 139 180 6296 分别是行数139行，字数180字，字节数6296字节
sort
对文件内容以某种方式对列进行排序
[06:59:16 root@C8-3-55 ~]#sort --help
用法：sort [选项]... [文件]...
或：sort [选项]... --files0-from=F
Write sorted concatenation of all FILE(s) to standard output.
如果没有指定文件，或者文件为"-"，则从标准输入读取。
必选参数对长短选项同时适用。
排序选项：
-b, --ignore-leading-blanks 忽略前导的空白区域
-d, --dictionary-order 只考虑空白区域和字母字符
-f, --ignore-case 忽略字母大小写
-g, --general-numeric-sort compare according to general numerical value
-i, --ignore-nonprinting consider only printable characters
-M, --month-sort compare (unknown) < 'JAN' < ... < 'DEC'
-h, --human-numeric-sort 使用易读性数字(例如： 2K 1G)
-n, --numeric-sort compare according to string numerical value
-R, --random-sort shuffle, but group identical keys. See shuf(1)
--random-source=FILE get random bytes from FILE
-r, --reverse reverse the result of comparisons
--sort=WORD 按照WORD 指定的格式排序：
一般数字-g，高可读性-h，月份-M，数字-n，
随机-R，版本-V
-V, --version-sort 在文本内进行自然版本排序
其他选项：
--batch-size=NMERGE 一次最多合并NMERGE 个输入；如果输入更多
则使用临时文件
-c, --check, --check=diagnose-first 检查输入是否已排序，若已有序则不进行操作
-C, --check=quiet, --check=silent 类似-c，但不报告第一个无序行
--compress-program=程序 使用指定程序压缩临时文件；使用该程序
的-d 参数解压缩文件
--debug 为用于排序的行添加注释，并将有可能有问题的
用法输出到标准错误输出
--files0-from=文件 从指定文件读取以NUL 终止的名称，如果该文件被
指定为"-"则从标准输入读文件名
-k, --key=KEYDEF sort via a key; KEYDEF gives location and type
-m, --merge merge already sorted files; do not sort
-o, --output=文件 将结果写入到文件而非标准输出
-s, --stable 禁用last-resort 比较以稳定比较算法
-S, --buffer-size=大小 指定主内存缓存大小
-t, --field-separator=分隔符 使用指定的分隔符代替非空格到空格的转换
-T, --temporary-directory=目录 使用指定目录而非$TMPDIR 或/tmp 作为
临时目录，可用多个选项指定多个目录
--parallel=N 将同时运行的排序数改变为N
-u, --unique 配合-c，严格校验排序；不配合-c，则只输出一次排序结果
-z, --zero-terminated line delimiter is NUL, not newline
--help 显示此帮助信息并退出
--version 显示版本信息并退出
KEYDEF is F[.C][OPTS][,F[.C][OPTS]] for start and stop position, where F is a
field number and C a character position in the field; both are origin 1, and
the stop position defaults to the line's end. If neither -t nor -b is in
effect, characters in a field are counted from the beginning of the preceding
whitespace. OPTS is one or more single-letter ordering options [bdfgiMhnRrV],
which override global ordering options for that key. If no key is given, use
the entire line as the key. Use --debug to diagnose incorrect key usage.
SIZE may be followed by the following multiplicative suffixes:
内存使用率% 1%，b 1、K 1024（默认），M、G、T、P、E、Z、Y 等依此类推。
*** 警告 ***
地区与语言环境变量（locale）会影响排序结果。
如果希望以字节的自然值获得最传统的排序结果，
请设置环境变量 LC_ALL=C。
默认按字母表的顺序顺序排序
[07:06:18 root@C8-3-55 ~]#sort /etc/passwd | head -n 10
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
chrony:x:991:987::/var/lib/chrony:/sbin/nologin
clevis:x:994:990:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/sbin/nologin
cockpit-ws:x:993:989:User for cockpit-ws:/nonexisting:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
按照指定字段进行排序
sort可以直接取出指定某个列，对这个列进行扩展排序
- -t: 以：为分隔符进行分割
- -k3 取分割以后的第三列进行排序
[07:06:26 root@C8-3-55 ~]#sort -t: -k3 /etc/passwd | head -n 10
root:x:0:0:root:/root:/bin/bash
python:x:1000:1000::/home/python:/bin/bash
sun3:x:1002:1002::/home/sun3:/bin/bash
sun4:x:1003:1003::/home/sun4:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
systemd-resolve:x:193:193:systemd Resolver:/:/sbin/nologin
排完以后发现，第三列并没有按照数字大小进行排序，而是按照字符进行排序
第一位是1，第二位是0的1000排在了第一位是1第二位是1的11前面去了。
- 如果需要按照数字排列，需要加选项-n
[07:09:03 root@C8-3-55 ~]#sort -t: -k3 -n /etc/passwd | head -n 10
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
如果需要倒序排，再加参数-r
[07:13:03 root@C8-3-55 ~]#sort -t: -k3 -n -r /etc/passwd | head -n 10
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
user100:x:8990:8990::/home/user100:/bin/bash
user99:x:8989:8989::/home/user99:/bin/bash
user98:x:8988:8988::/home/user98:/bin/bash
user97:x:8987:8987::/home/user97:/bin/bash
user96:x:8986:8986::/home/user96:/bin/bash
user95:x:8985:8985::/home/user95:/bin/bash
user94:x:8984:8984::/home/user94:/bin/bash
user93:x:8983:8983::/home/user93:/bin/bash
user92:x:8982:8982::/home/user92:/bin/bash
通常将特定列先取出再排序
- 先用cut取出/etc/passwd中以：为分隔符的（-d:）第1和第3行(-f 1,3)
- 再用sort取以：为分隔符(-t:)的第二列(-k 2)并按数字大小顺序倒序排列（-nr）
[07:16:50 root@C8-3-55 ~]#cut -d: -f 1,3 /etc/passwd | sort -t: -k 2 -nr | head -n 10
nobody:65534
user100:8990
user99:8989
user98:8988
user97:8987
user96:8986
user95:8985
user94:8984
user93:8983
user92:8982
根据磁盘空间使用率排序
[07:29:07 root@C8-3-55 ~]#df | tail -n +2 | tr -s ' ' '%' | cut -d % -f 1,5 |sort -t % -k 2 -nr
/dev/mapper/cl-root%20
/dev/sda1%16
tmpfs%2
tmpfs%0
tmpfs%0
tmpfs%0
devtmpfs%0
利用-R参数进行随机排序
将人员名单输入文本，并用sort -R随机排序，产生出发顺序或者抽奖名单
对人员进行出发顺序随机排序
[07:42:19 root@C8-3-55 ~]#echo name{A..F} | tr -s ' ' '
' | sort -R | cat -n
1 nameB
2 nameD
3 nameA
4 nameE
5 nameC
6 nameF
[07:43:04 root@C8-3-55 ~]#echo name{A..F} | tr -s ' ' '
' | sort -R | cat -n
1 nameB
2 nameF
3 nameE
4 nameC
5 nameD
6 nameA
[07:43:06 root@C8-3-55 ~]#echo name{A..F} | tr -s ' ' '
' | sort -R | cat -n
1 nameC
2 nameB
3 nameA
4 nameF
5 nameD
6 nameE
100个抽奖者随机产生中奖名单
[07:43:08 root@C8-3-55 ~]#seq 100 | sort -R | tail -n 1
51
[07:45:39 root@C8-3-55 ~]#seq 100 | sort -R | tail -n 1
23
[07:45:41 root@C8-3-55 ~]#seq 100 | sort -R | tail -n 1
76
[07:45:42 root@C8-3-55 ~]#seq 100 | sort -R | tail -n 1
96
[07:45:43 root@C8-3-55 ~]#seq 100 | sort -R | tail -n 1
73
uniq
不排序，只是将挨着的重复的行去掉，不挨着不合并
统计同样的信息出现了多少次
[09:06:22 root@C8-3-55 ~]#uniq --help
用法：uniq [选项]... [文件]
Filter adjacent matching lines from INPUT (or standard input),
writing to OUTPUT (or standard output).
With no options, matching lines are merged to the first occurrence.
必选参数对长短选项同时适用。
-c, --count prefix lines by the number of occurrences
-d, --repeated only print duplicate lines, one for each group
-D print all duplicate lines
--all-repeated[=METHOD] like -D, but allow separating groups
with an empty line;
METHOD={none(default),prepend,separate}
-f, --skip-fields=N avoid comparing the first N fields
--group[=METHOD] show all items, separating groups with an empty line;
METHOD={separate(default),prepend,append,both}
-i, --ignore-case ignore differences in case when comparing
-s, --skip-chars=N avoid comparing the first N characters
-u, --unique only print unique lines
-z, --zero-terminated line delimiter is NUL, not newline
-w, --check-chars=N 对每行第N 个字符以后的内容不作对照
--help 显示此帮助信息并退出
--version 显示版本信息并退出
若域中为先空字符(通常包括空格以及制表符)，然后非空字符，域中字符前的空字符将被跳过。
提示："uniq" 不会检查重复的行，除非它们是相邻的行。
您也许需要事先对输入排序，或使用 "sort -u" 而非 "uniq"。
另外，比较操作将服从 "LC_COLLATE" 环境变量所指定的规则。
例： 从httpd的access_log中取出访问次数前3最多的ip地址
[09:53:25 root@C8-3-55 ~]#cut -d " " -f 1 access_log | sort | uniq -c | sort -nr | head -3
例：从系统访问日志ss.log中取出前3个连接最多的ip
tr -s ' ' : < ss.log | cut -d : -f 6 | tail -n +2 | sort | uniq -c | sort -nr | head -3
- -u显示连续的相同行，-d显示连续的不同行
因为只显示连续的，所以之前要用sort进行排序
例： 显示两个文件a.txt,b.txt中相同的行和不同的行
[10:01:31 root@C8-3-55 ~]#cat a.txt b.txt | sort | uniq -u
[10:05:29 root@C8-3-55 ~]#cat a.txt b.txt | sort | uniq -d