linux 文件內容查找、去重、統計

cat filename | awk '{print $1}' | sort | uniq

cat filename讀取一個文件

awk '{print $1}' 以默認字符分割文件每一行內容，取第一個數據

sort 對內容進行正序排序    sort -r 倒序  -n 依照數值的大小排序

uniq 對內容進行去重  /   uniq -c 統計重復次數

cat filename | awk '{print $1}' | sort | uniq -c | sort -nr ( 去重文件中重復內容，並且按照重復次數進行倒序)

cat test1.txt | awk '{print $1}' | grep -E "^4" | sort | uniq -c | sort -nr

grep -E 正則表達式，利用正則表達式過濾結果

cat test1.txt | awk '{print $1}' | sort | uniq -c | sort -r | head -n 3

head -n 3 顯示前3行(從第一行開始)

tail -n 3 顯示后3行（從最末行開始）