linux中单个文件统计重复项、去重复、取唯一项、统计重复次数

1、测试数据

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt     ## 测试数据
a
g
b
d
a
b
b
d
c
b

 

2、统计重复项

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort a.txt | uniq -d   ## 重复项
a
b
d
root@ubuntu01:/home/test# sort a.txt | uniq -D   ## 重复项
a
a
b
b
b
b
d
d

 

3、去重复

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort -u a.txt  ## 去重复
a
b
c
d
g
root@ubuntu01:/home/test# sort a.txt | uniq    ## 去重复
a
b
c
d
g

 

4、取唯一项

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort a.txt | uniq -u    ## 取唯一项
c
g

 

5、统计重复次数

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort a.txt | uniq -c    ## 统计重复次数 2 a
      4 b
      1 c
      2 d
      1 g
root@ubuntu01:/home/test# sort a.txt | uniq -c | sed 's/^[\t ]*//g'    ## 统计重复次数
2 a
4 b
1 c
2 d
1 g