第一：兩個文件的交集，並集前提條件：每個文件中不得有重復行1. 取出兩個文件的並集(重復的行只保留一份)2. 取出兩個文件的交集(只留下同時存在於兩個文件中的文件)3. 刪除交集，留下其他的行1. cat file1 file2 | sort | uniq > file32. cat ...

第一：兩個文件的交集，並集前提條件：每個文件中不得有重復行1. 取出兩個文件的並集(重復的行只保留一份)2. 取出兩個文件的交集(只留下同時存在於兩個文件中的文件)3. 刪除交集，留下其他的行1. cat file1 file2 | sort | uniq > file32. cat ...

背景： 大量圖片，但個圖片只是名字不一樣，內容一樣，需要去重 PS： 1. rm 可支持帶的文件數以 getconf ARG_MAX為准， 2. 不使用exec，因為exec一次只能rm一個，xargs可支持帶多個參數； ...

...

(1)兩個文件的交集，並集 1. 取出兩個文件的並集(重復的行只保留一份) cat file1 file2 | sort | uniq > file3 2. 取出兩個文件的交集(只留下同時存在於兩個文件中的文件) cat file1 file2 | sort | uniq -d > ...

合並多個文件，如將file1 file2 file3合並成一個新文件，命令如下： cat file1 file2 file3 … > newfile ...

有兩種方式， 第一種使用dd命令 第二種使用split dd命令是linux下一個非常有用的磁盤命令。它可以將指定大小的塊拷貝成一個文件，並在拷貝的同時執行指定的轉換。UNIX已經提供了文件切割功能，能完成這個功能的UNIX命令就是DD。 要切割的大文件為DGJD，共98336321 ...

【轉自】https://www.jianshu.com/p/0ee48403983b ...