uniq和sort -u 去重区别,多列排序去重统计


uniq和sort -u 去重区别,多列排序去重统计

 

cat bbb.txt 
aaa 21
aaa 21
bbb 21
bbb 21
bbb 21
ccc 21
ccc 21
ccc 21
ccc 21
aaa 22
aaa 22
bbb 22
bbb 22
bbb 22
ccc 22
ccc 22
ccc 22
ccc 22
cat bbb.txt | sort -u
aaa 21
aaa 22
bbb 21
bbb 22
ccc 21
ccc 22
cat bbb.txt | uniq 
aaa 21
bbb 21
ccc 21
aaa 22
bbb 22
ccc 22
#uniq的重复是连续出现的相同记录

多列排序:#sort -k *,*  \\从第几列到第几列

cat bbb.txt | sort -k 1,2
aaa 21
aaa 21
aaa 22
aaa 22
bbb 21
bbb 21
bbb 21
bbb 22
bbb 22
bbb 22
ccc 21
ccc 21
ccc 21
ccc 21
ccc 22
ccc 22
ccc 22
ccc 22
cat bbb.txt | sort -k 1,2 | sort -k 2
aaa 21
aaa 21
bbb 21
bbb 21
bbb 21
ccc 21
ccc 21
ccc 21
ccc 21
aaa 22
aaa 22
bbb 22
bbb 22
bbb 22
ccc 22
ccc 22
ccc 22
ccc 22

统计出现的行的总数:
cat bbb.txt | uniq -c   \\统计所有出现的行的总数
      2 aaa 21
      3 bbb 21
      4 ccc 21
      2 aaa 22
      3 bbb 22
      4 ccc 22
cat bbb.txt | uniq -dc  \\统计重复出现的行的总数
      2 aaa 21
      3 bbb 21
      4 ccc 21
      2 aaa 22
      3 bbb 22
      4 ccc 22
cat bbb.txt | uniq -d   \\去掉重复出现的行,和uniq 一样。-d 指重复出现,出现过一次的不在去重显示列表中。-dc 出现过一次的不显示列表中
aaa 21
bbb 21
ccc 21
aaa 22
bbb 22
ccc 22

 



 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM