一条命令搞定：
awk '!a[$0]++' file
如果是第一次出现a[$0]++的值为0(假)，而!a[$0]++的值就为1(真)，之后就执行print $0
第二次或者两次以上的出现a[$0]++的值就为大于0的整数值(真)，例如1,2,3...，而!a[$0]++的值就为0(假)，之后就不执行print $0操作
awk '!($0 in a){a[$0];print $0}'
pattern为!($0 in a)，Action为{a[$0];print $0}
分析：
1.执行第一行时的a的数组为空，($0 in a)为假，!($0 in a)为真。执行Action，a[$0]就存在了a[row1],打印第一行
2.执行第二行时的a的数组为a[row1],如果a[row2] 是a[$0]中的元素，!($0 in a)为真为假，不执行Ation。如果a[row2]不是a[$0]中的元素，执行Action，a[$0]中增加元素(a[row1],a[row2])，打印第二行。
3.重复执行类似的第二步骤。达到的去重的效果。