uniq和sort -u 去重区别,多列排序去重统计
cat bbb.txt aaa 21 aaa 21 bbb 21 bbb 21 bbb 21 ccc 21 ccc 21 ccc 21 ccc 21 aaa 22 aaa 22 bbb 22 bbb 22 bbb 22 ccc 22 ccc 22 ccc 22 ccc 22
cat bbb.txt | sort -u aaa 21 aaa 22 bbb 21 bbb 22 ccc 21 ccc 22
cat bbb.txt | uniq aaa 21 bbb 21 ccc 21 aaa 22 bbb 22 ccc 22
#uniq的重复是连续出现的相同记录
多列排序:#sort -k *,* \\从第几列到第几列
cat bbb.txt | sort -k 1,2 aaa 21 aaa 21 aaa 22 aaa 22 bbb 21 bbb 21 bbb 21 bbb 22 bbb 22 bbb 22 ccc 21 ccc 21 ccc 21 ccc 21 ccc 22 ccc 22 ccc 22 ccc 22 cat bbb.txt | sort -k 1,2 | sort -k 2 aaa 21 aaa 21 bbb 21 bbb 21 bbb 21 ccc 21 ccc 21 ccc 21 ccc 21 aaa 22 aaa 22 bbb 22 bbb 22 bbb 22 ccc 22 ccc 22 ccc 22 ccc 22
统计出现的行的总数:
cat bbb.txt | uniq -c \\统计所有出现的行的总数 2 aaa 21 3 bbb 21 4 ccc 21 2 aaa 22 3 bbb 22 4 ccc 22
cat bbb.txt | uniq -dc \\统计重复出现的行的总数 2 aaa 21 3 bbb 21 4 ccc 21 2 aaa 22 3 bbb 22 4 ccc 22
cat bbb.txt | uniq -d \\去掉重复出现的行,和uniq 一样。-d 指重复出现,出现过一次的不在去重显示列表中。-dc 出现过一次的不显示列表中 aaa 21 bbb 21 ccc 21 aaa 22 bbb 22 ccc 22