Linux 查詢文件內容重復數 uniq、sort命令

前提：uniq只能查詢數據相鄰的重復次數，而sort可以查詢亂序的重復次數。

 

原諒我，以下內容都是復制菜鳥驛站的！！！

 

Linux uniq 命令用於檢查及刪除文本文件中重復出現的行列，一般與 sort 命令結合使用。

uniq 可檢查文本文件中重復出現的行列。

語法

uniq [-cdu][-f<欄位>][-s<字符位置>][-w<字符位置>][--help][--version][輸入文件][輸出文件]

參數：

• -c或--count 在每列旁邊顯示該行重復出現的次數。
• -d或--repeated 僅顯示重復出現的行列。
• -f<欄位>或--skip-fields=<欄位> 忽略比較指定的欄位。
• -s<字符位置>或--skip-chars=<字符位置> 忽略比較指定的字符。
• -u或--unique 僅顯示出一次的行列。
• -w<字符位置>或--check-chars=<字符位置> 指定要比較的字符。
• --help 顯示幫助。
• --version 顯示版本信息。
• [輸入文件] 指定已排序好的文本文件。如果不指定此項，則從標准讀取數據；
• [輸出文件] 指定輸出的文件。如果不指定此選項，則將內容顯示到標准輸出設備（顯示終端）。

實例

文件testfile中第 2、3、5、6、7、9行為相同的行，使用 uniq 命令刪除重復的行，可使用以下命令：

uniq testfile 

testfile中的原有內容為：

$ cat testfile      #原有內容  
test 30  
test 30  
test 30  
Hello 95  
Hello 95  
Hello 95  
Hello 95  
Linux 85  
Linux 85

 

使用uniq 命令刪除重復的行后，有如下輸出結果：

$ uniq testfile     #刪除重復行后的內容  
test 30  
Hello 95  
Linux 85

 

檢查文件並刪除文件中重復出現的行，並在行首顯示該行重復出現的次數。使用如下命令：

uniq -c testfile 

 

結果輸出如下：

$ uniq -c testfile      #刪除重復行后的內容  
3 test 30             #前面的數字的意義為該行共出現了3次  
4 Hello 95            #前面的數字的意義為該行共出現了4次  
2 Linux 85            #前面的數字的意義為該行共出現了2次 

 

當重復的行並不相鄰時，uniq 命令是不起作用的，即若文件內容為以下時，uniq 命令不起作用：

$ cat testfile1      # 原有內容 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85 
test 30  
Hello 95  
Linux 85

這時我們就可以使用 sort：

$ sort  testfile1 | uniq
Hello 95  
Linux 85 
test 30

統計各行在文件中出現的次數：

$ sort testfile1 | uniq -c
   3 Hello 95  
   3 Linux 85 
   3 test 30

在文件中找出重復的行：

$ sort testfile1 | uniq -d
Hello 95  
Linux 85 
test 30