第一種:grep命令法
命令如下:grep -vxFf file1 file2 > a.txt
其中file2是大文件,file1是小文件
第一種:comm命令法
命令如下:comm file1 file2 -1 -3
file1和file2必須是有序文件,所以在comm前可以先sort file1 , sort file2再比較
附: comm命令介紹(http://man.linuxde.net/comm)
comm命令可以用於兩個文件之間的比較,它有一些選項可以用來調整輸出,以便執行交集、求差、以及差集操作。
交集:打印出兩個文件所共有的行。
求差:打印出指定文件所包含的且不相同的行。
差集:打印出包含在一個文件中,但不包含在其他指定文件中的行。
[root@localhost cc]# cat file1
a
b
c
d
[root@localhost cc]# cat file2
a
b
f
[root@localhost cc]# comm file1 file2
a
b
c
d
f
輸出的第一列只包含在文件file1中出現的行,第二列只包含在文件file2中出現的行,第三列包含在file和file2中相同的行。
交集
打印兩個文件的交集,需要刪除第一列和第二列:
[root@localhost cc]# comm 1 2 -1 -2
a
b
求差
打印出兩個文件中不相同的行,需要刪除第三列:
[root@localhost cc]# comm 1 2 -3 |sed 's/^\t//'
c
d
f
sed 's/^\t//' 是將制表符(\t)刪除,以便把兩列合並成一列。
差集
通過刪除不需要的列,可以得到aaa.txt和bbb.txt的差集:
文件1的差集
[root@localhost cc]# comm 1 2 -2 -3
c
d
文件2的差集
[root@localhost cc]# comm 1 2 -1 -3
f