Linux下快速比較兩個目錄的不同

曾多次想要在Linux下比較目錄a和目錄b中文件列表的差別，然后對目錄a比目錄b中多出的文件、少掉的文件分別做處理。但是，在網上搜索了多次也都沒找到能直接處理好的工具。

所以想了不少方法，自我感覺都不錯，而且網上似乎沒有這方面的文章，所以分享出來給大家。如果各位有更好的工具或者方法，盼請留下說明(本文第2部分：圖形化的比較結果搜集自網上，我也沒有在圖形化界面下操作的需要，所以沒有多做介紹)

以下是本文有些地方涉及到的目錄結構。

[root@node1 ~]# tree directory1 directory2
directory1
├── 1.png
├── 2.png
└── 3.png
directory2
├── 2.png
├── 3.png
└── 4.png

1.命令行輸出的結果

方法一：使用diff

diff -r directory1 directory2

但是diff會對每個文件中的每一行都做比較，所以文件較多或者文件較大的時候會非常慢。請謹慎使用。

方法二：使用diff結合tree

diff <(tree -Ci --noreport /mnt/f/自然馬) <(tree -Ci --noreport /mnt/i/自然馬)
< /mnt/f/自然馬
---
> /mnt/i/自然馬
87a88
> xyz.avi
488d488
< rsync.txt
534d533
< 542D0.mp4

說明：

1. tree的-C選項是輸出顏色，如果只是看一下目錄的不同，可以使用該選項，但在結合其他命令使用的時候建議不要使用該選項，因為顏色也會轉換為對應的編碼而輸出；
2. -i是不縮進，建議不要省略-i，否則diff的結果很難看，也不好繼續后續的文件操作；
3. --noreport是不輸出報告結果，建議不要省略該選項。
4. 該方法效率很高。

方法三：find結合diff

find directory1 -printf "%P\n" | sort > file1
find directory2 -printf "%P\n" | sort | diff file1 -
2d1
< 1.png
4a4
> 4.png

說明：

1. <代表的行是directory1中有而directory2沒有的文件，>則相反，是directory2中有而directory1中沒有。
2. 不要省略-printf "%P\n"，此處的%P表示find的結果中去掉前綴路徑，詳細內容man find。例如，find /root/ -printf "%P\n"的結果中將顯示/root/a/xyz.txt中去掉/root/后的結果：a/xyz.txt。
3. 效率很高，輸出也簡潔。

如果不想使用-printf，那么先進入各目錄再find也行。

[root@node1 ~]# (cd /root/a;find . | sort >/tmp/file1)       
[root@node1 ~]# (cd /root/b;find . | sort | diff /tmp/file1 -)
2d1
< ./1.png
4a4
> ./4.png

上面將命令放進括號中執行是為了在子shell中切換目錄，不用影響當前所在目錄。

方法四：使用rsync

rsync -rvn --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'
deleting a/xyz.avi
rsync.txt
新建文件夾/542D0.mp4

其中deleting所在的行就是directory2中多出的文件。其他的都是directory中多出的文件。

如果想區分出不同的是目錄還是文件。可以加上"-i"選項。

rsync -rvn -i --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'
*deleting   a/xyz.avi
>f+++++++++ rsync.txt
>f+++++++++ 新建文件夾/542D0.mp4

其中>f+++++++++中的f代表的是文件，d代表的目錄。

上面的rsync比較目錄有幾點要說明：

1. 一定不能缺少-n選項，它表示dry run，也就是試着進行rsync同步，但不會真的同步。
2. 第一個目錄(directory1/)后一定不能缺少斜線，否則表示將directory1整個目錄同步到directory2目錄下。
3. 其它選項，如"-r -v --delete"也都不能缺少，它們的意義想必都知道。
4. sed的作用是過濾掉和文件不相關的內容。
5. 以上rsync假定了比較的兩個目錄中只有普通文件和目錄，沒有軟鏈接、塊設備等特殊文件。如果有，請考慮加上對應的選項或者使用-a替代-r，否則結果中將出現skipping non-regular file的提示。但請注意，如果有軟鏈接，且加了對應選項(-l或-a或其他相關選項)，則可能會出現fileA-->fileB的輸出。
6. 效率很高，因為rsync的原因，篩選的可定制性也非常強。

2.圖形化的比較結果

方法一：使用vimdiff

vimdiff <(cd directory1; find . | sort) <(cd directory2; find . | sort)
# 或者
vimdiff <(find directory1 -printf "%P\n"| sort) <(find directory2 -printf "%P\n"| sort)

方法二：使用meld

meld是python寫的一個圖形化文件/目錄比較工具，所以必須先安裝圖形界面或設置好圖形界面接受協議。它的功能非常豐富，和win下的beyond compare有異曲同工之妙。

meld具體的使用方式就不介紹了。

3.將兩目錄中不同的文件篩選出來

個人建議使用命令行輸出的結果中的方法方法三和方法四，因為它們都能很好地保留目錄前綴。

以方法三為例：

find directory1 -printf "%P\n" | sort > file1
find directory2 -printf "%P\n" | sort | diff file1 -

以下是實驗所需目錄結構：

[root@node1 ~]# tree /root/a;tree /root/b 
/root/a
├── 1.png
├── 2.png
└── 3.png

0 directories, 3 files
/root/b
├── 2.png
├── 3.png
├── 4.png
└── xen
    └── scripts
        └── block-drbd

首先比較這兩個目錄得到文件列表的差異。

find /root/a -printf "%P\n" | sort > /tmp/file1
find /root/b -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt

然后從diff.txt中過濾出/root/a中多出的文件和/root/b中多出的文件。

# /root/a中多出的文件
awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/1.png

# /root/b中多出的文件
awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/4.png
/tmp/etc/xen
/tmp/etc/xen/scripts
/tmp/etc/xen/scripts/block-drbd

需要注意的是，如果多了某個目錄，則這個目錄和其內所有文件都會列出來。如果要將多出的文件復制到其他地方，應當要注意這一點。

如果只想要比較出/root/a和/root/b下的文件和目錄的不同，不再遞歸到子目錄中比較。那么可以在find上繼續加工一番：

find /root/a -maxdepth 1 -printf "%P\n" | sort > /tmp/file1
find /root/b -maxdepth 1 -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt
# /root/a中多出的文件
awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/1.png

# /root/b中多出的文件
awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/4.png
/tmp/etc/xen

這樣一來，/root/b中多出的文件就是4.png和xen，xen目錄中的文件不再列出。