uniq和sort -u 去重區別,多列排序去重統計
cat bbb.txt aaa 21 aaa 21 bbb 21 bbb 21 bbb 21 ccc 21 ccc 21 ccc 21 ccc 21 aaa 22 aaa 22 bbb 22 bbb 22 bbb 22 ccc 22 ccc 22 ccc 22 ccc 22
cat bbb.txt | sort -u aaa 21 aaa 22 bbb 21 bbb 22 ccc 21 ccc 22
cat bbb.txt | uniq aaa 21 bbb 21 ccc 21 aaa 22 bbb 22 ccc 22
#uniq的重復是連續出現的相同記錄
多列排序:#sort -k *,* \\從第幾列到第幾列
cat bbb.txt | sort -k 1,2 aaa 21 aaa 21 aaa 22 aaa 22 bbb 21 bbb 21 bbb 21 bbb 22 bbb 22 bbb 22 ccc 21 ccc 21 ccc 21 ccc 21 ccc 22 ccc 22 ccc 22 ccc 22 cat bbb.txt | sort -k 1,2 | sort -k 2 aaa 21 aaa 21 bbb 21 bbb 21 bbb 21 ccc 21 ccc 21 ccc 21 ccc 21 aaa 22 aaa 22 bbb 22 bbb 22 bbb 22 ccc 22 ccc 22 ccc 22 ccc 22
統計出現的行的總數:
cat bbb.txt | uniq -c \\統計所有出現的行的總數 2 aaa 21 3 bbb 21 4 ccc 21 2 aaa 22 3 bbb 22 4 ccc 22
cat bbb.txt | uniq -dc \\統計重復出現的行的總數 2 aaa 21 3 bbb 21 4 ccc 21 2 aaa 22 3 bbb 22 4 ccc 22
cat bbb.txt | uniq -d \\去掉重復出現的行,和uniq 一樣。-d 指重復出現,出現過一次的不在去重顯示列表中。-dc 出現過一次的不顯示列表中 aaa 21 bbb 21 ccc 21 aaa 22 bbb 22 ccc 22