第一：两个文件的交集，并集前提条件：每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)3. 删除交集，留下其他的行1. cat file1 file2 | sort | uniq > file32. cat ...

第一：两个文件的交集，并集前提条件：每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)3. 删除交集，留下其他的行1. cat file1 file2 | sort | uniq > file32. cat ...

背景： 大量图片，但个图片只是名字不一样，内容一样，需要去重 PS： 1. rm 可支持带的文件数以 getconf ARG_MAX为准， 2. 不使用exec，因为exec一次只能rm一个，xargs可支持带多个参数； ...

...

(1)两个文件的交集，并集 1. 取出两个文件的并集(重复的行只保留一份) cat file1 file2 | sort | uniq > file3 2. 取出两个文件的交集(只留下同时存在于两个文件中的文件) cat file1 file2 | sort | uniq -d > ...

合并多个文件，如将file1 file2 file3合并成一个新文件，命令如下： cat file1 file2 file3 … > newfile ...

有两种方式， 第一种使用dd命令 第二种使用split dd命令是linux下一个非常有用的磁盘命令。它可以将指定大小的块拷贝成一个文件，并在拷贝的同时执行指定的转换。UNIX已经提供了文件切割功能，能完成这个功能的UNIX命令就是DD。 要切割的大文件为DGJD，共98336321 ...

【转自】https://www.jianshu.com/p/0ee48403983b ...