uniq过滤工具

一、简介（repeat or omit repeated lines）

检查及删除文本文件中重复出现的行（重复行的定义：完全匹配的连续行，即数据事先要经过sort处理）。

二、格式

uniq [OPTION]... [INPUT [OUTPUT]]

三、常用选项

-d               #把重复行写道 OUTPUT 中，不管连续出现多少次，仅写一次
-c               #每行前显示在输入文件中出现的次数
-u               #仅显示出现一次的行
-s2              #忽略比较前两个字符
-f2              #忽略第二个栏位
-w2              #至多比较2个字符

四、实例

测试文件：

cat filename

Vine street
Vhin street
China
New York
New York
New York
add York
ass York
China
China
ccina
china

1.统计重复的行

uniq -d -c addresses

      3 New York
      2 China

2.忽略第一个栏位

uniq -f1 -c addresses 

      2 Vine street
      1 China
      5 New York
      4 China

3.至多比较一个字符

uniq -w1 -c addresses

      2 Vine street
      1 China
      3 New York
      2 add York
      2 China
      2 ccina