MIT-Adobe FiveK Dataset 圖片自動下載

MIT-Adobe FiveK Dataset 圖片自動下載

　　注：經過網友的提示，發現有更為方便的獲得C修過的圖片。只需要下載原始的50G的raw圖片，然后在電腦上面安裝light room，這個軟件可以應用數據集中所記錄的各個修圖人員的操作數據，因此里面記錄了所有五個人修過的圖片數據，具體可以參考：https://github.com/yuanming-hu/exposure/wiki/Preparing-data-for-the-MIT-Adobe-FiveK-Dataset-with-Lightroom

　　MIT-Adobe FiveK是現在很多做圖像增強（image enhancement）與圖像修飾（image retouching）方面研究的人員經常會使用到的數據庫。這個數據庫中包含5000張dng格式的原始圖片及分別由五個（A，B，C，D，E）專業修圖人員手工修飾后的圖片。關於該數據庫的詳細資料可以在：https://data.csail.mit.edu/graphics/fivek/上找到。博主目前也在作圖像增強方面的算法，在該網站上面，雖然提供了原始圖片的下載鏈接，但是修飾后的圖片只提供了每個圖片的獨立下載鏈接，手工對這些圖片一張張下載的話，肯定是一件令人抓狂的事情，因此博主打算應用一個python腳本來自動下載所需要的圖片。

　　查看網頁的源碼，發現這些經過修飾后的圖片的URL存在一定的規律，例如：由C修飾的第一張圖片的URL為https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/a0001-jmac_DSC1459.tif。該地址可以划分為三部分：https://data.csail.mit.edu/graphics/fivek/img/（不變），tiff16_c（代表C修飾的圖片，如果最后一個字母是D，那么就代表D所修飾的圖片），a0001-jmac_DSC1459.tif（文件名）。發現這一規律之后，我們就可以運用簡單的python腳本，通過圖片的文件名來將圖片下載到本地。

　　數據集中所有文件的名稱在下載原始圖片的時候就可以下載下來，它們被分別放置在名為：filesAdobe.txt和filesAdobeMIT.txt這兩個文件中。自動下載的腳本如下：

 

import os
import sys
from urllib.request import urlretrieve

#改變當前工作路徑
CURRENT_PATH="/home/luohang/PyLearn"#本文件所在路徑
os.chdir(CURRENT_PATH)#改變當前路徑

#存儲圖像名稱的list
img_lst=[]
#讀取圖片名列表
with open('filesAdobe.txt', 'r') as f:
    for line in f.readlines():
        img_lst.append(line.rstrip("\n"))#去掉換行符

with open('filesAdobeMIT.txt', 'r') as f:
    for line in f.readlines():
        img_lst.append(line.rstrip("\n"))#去掉換行符

#urlretrieve 函數的回調函數，顯示下載進度
def cbk(a,b,c):
    '''回調函數
    @a:已經下載的數據包數量
    @b:數據塊的大小
    @c:遠程文件的大小
    '''
    per=100.0*a*b/c
    if per>100:
        per=100
    #在終端更新進度
    sys.stdout.write("progress: %.2f%%   \r" % (per))
    sys.stdout.flush()

#根據文件的url下載圖片
for i in img_lst:
    URL='https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/'+i+'.tif'#下載由C所調整的圖像(可根據需要下載其它的四類圖像)
    print('Downloading '+i+':')
    urlretrieve(URL, '/media/luohang/軟件/FiveK_C/'+i+'.tif', cbk)#將所獲取的圖片存儲到本地的地址內

 

運行結果如下：