近期在整理相冊的時候，發現相冊中有許多重復圖片，人工一張張篩查刪除太枯燥，便寫下這個腳本，用於刪除文件夾下重復的圖片。
第一部分：判斷兩張圖片是否相同
要查找重復的圖片，必然繞不開判斷兩張圖片是否相同。判斷兩張圖片簡單呀！圖片可以看成數組，比較兩個數組是否相等不就行了。但是這樣做太過簡單粗暴，因為兩個數組的每個元素都要一一比較，效率很低。為了盡量避免兩個龐大的數組比較：
- 先進行兩張圖片的大小(byte)比較，若大小不相同，則兩張圖片不相同；
- 在兩張圖片的大小相同的前提下，進行兩張圖片的尺寸(長和寬)比較，若尺寸不相同，則兩張不相同；
- 在兩張圖片的尺寸相同的前提下，進行兩張圖片的內容(即數組元素)比較，若內容不相同，則圖片不相同；
這樣，當圖片大小或圖片尺寸不相同的時候，便認為兩張圖片不同，可以省去比較數組元素的部分，效率up~
1 import shutil 2 import numpy as np 3 from PIL import Image 4 import os 5
6
7 def 比較圖片大小(dir_image1, dir_image2): 8 with open(dir_image1, "rb") as f1: 9 size1 = len(f1.read()) 10 with open(dir_image2, "rb") as f2: 11 size2 = len(f2.read()) 12 if(size1 == size2): 13 result = "大小相同"
14 else: 15 result = "大小不同"
16 return result 17
18
19 def 比較圖片尺寸(dir_image1, dir_image2): 20 image1 = Image.open(dir_image1) 21 image2 = Image.open(dir_image2) 22 if(image1.size == image2.size): 23 result = "尺寸相同"
24 else: 25 result = "尺寸不同"
26 return result 27
28
29 def 比較圖片內容(dir_image1, dir_image2): 30 image1 = np.array(Image.open(dir_image1)) 31 image2 = np.array(Image.open(dir_image2)) 32 if(np.array_equal(image1, image2)): 33 result = "內容相同"
34 else: 35 result = "內容不同"
36 return result 37
38
39 def 比較兩張圖片是否相同(dir_image1, dir_image2): 40 # 比較兩張圖片是否相同
41 # 第一步：比較大小是否相同
42 # 第二步：比較長和寬是否相同
43 # 第三步：比較每個像素是否相同
44 # 如果前一步不相同，則兩張圖片必不相同
45 result = "兩張圖不同"
46 大小 = 比較圖片大小(dir_image1, dir_image2) 47 if(大小 == "大小相同"): 48 尺寸 = 比較圖片尺寸(dir_image1, dir_image2) 49 if(尺寸 == "尺寸相同"): 50 內容 = 比較圖片內容(dir_image1, dir_image2) 51 if(內容 == "內容相同"): 52 result = "兩張圖相同"
53 return result
第二部分：判斷文件夾內是否有重復圖片
若要判斷文件夾內是否有和圖片A相同的圖片，則需要遍歷文件夾內所有圖片，挨個判斷兩個圖片是否相同。若文件夾有1000張圖片，那么第1張圖片需要與剩下的999張圖片作比較，第2張圖片需要與剩下的998張圖片作比較，第3張需要與剩下的997張圖片作比較，以此類推。在此程序中的做法是，先對所有圖片按圖片大小(byte)排序，然后再執行遍歷比較。這樣做的結果是：重復圖片很大概率會連着出現（因為重復圖片大小相同）
if __name__ == '__main__': load_path = 'E:\\測試圖片集(未去重)' # 要去重的文件夾
save_path = 'E:\\測試圖片集(重復照片)' # 空文件夾，用於存儲檢測到的重復的照片
os.makedirs(save_path, exist_ok=True) # 獲取圖片列表 file_map，字典{文件路徑filename : 文件大小image_size}
file_map = {} image_size = 0 # 遍歷filePath下的文件、文件夾（包括子目錄）
for parent, dirnames, filenames in os.walk(load_path): # for dirname in dirnames:
# print('parent is %s, dirname is %s' % (parent, dirname))
for filename in filenames: # print('parent is %s, filename is %s' % (parent, filename))
# print('the full name of the file is %s' % os.path.join(parent, filename))
image_size = os.path.getsize(os.path.join(parent, filename)) file_map.setdefault(os.path.join(parent, filename), image_size) # 獲取的圖片列表按 文件大小image_size 排序
file_map = sorted(file_map.items(), key=lambda d: d[1], reverse=False) file_list = [] for filename, image_size in file_map: file_list.append(filename) # 取出重復的圖片
file_repeat = [] for currIndex, filename in enumerate(file_list): dir_image1 = file_list[currIndex] dir_image2 = file_list[currIndex + 1] result = 比較兩張圖片是否相同(dir_image1, dir_image2) if(result == "兩張圖相同"): file_repeat.append(file_list[currIndex + 1]) print("\n相同的圖片：", file_list[currIndex], file_list[currIndex + 1]) else: print('\n不同的圖片：', file_list[currIndex], file_list[currIndex + 1]) currIndex += 1
if currIndex >= len(file_list)-1: break
# 將重復的圖片移動到新的文件夾，實現對原文件夾降重
for image in file_repeat: shutil.move(image, save_path) print("正在移除重復照片：", image)
第三部分：程序運行結果
若文件夾下有10張圖片A、5張圖片B、1張圖片C，程序運行結束后，該文件夾下剩余1張圖片A、1張圖片B、1張圖片C；其他的圖片移動到 save_path 指定的文件夾下。
第四部分：注意
程序代碼可以直接復制使用，需要修改 load_path 和 save_path 參數；
保證 load_path 文件夾都為圖片格式（.jpg .png .jpeg）的文件類型，不可以有其他格式的文件（例如.mp4）；請先用資源管理器處理文件夾，大佬直接修改代碼讀取文件夾下指定類型的文件；