python爬蟲——爬取NUS-WIDE數據庫圖片

　　　實驗室需要NUS-WIDE數據庫中的原圖，數據集的地址為http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm   由於這個數據只給了每個圖片的URL，所以需要一個小爬蟲程序來爬取這些圖片。在圖片的下載過程中建議使用VPN。由於一些URL已經失效，所以會下載一些無效的圖片。

# PYTHON 2.7     Ubuntu 14.04
nuswide = "$NUS-WIDE-urls_ROOT" #the location of your nus-wide-urls.txt
imagepath = "$IMAGE_ROOT" # path of dataset you want to download in
f = open(nuswide, 'r')
url = f.readlines()
import re
import urllib
import os
reg = r"ImageData.+?jpg"
location_re = re.compile(reg)
reg = r"(ImageData.+?)/0"
direction_re = re.compile(reg)
reg = r"http.+?jpg"
image_re = re.compile(reg)
for i in url:
    filename = re.findall(location_re, i)
    direction = re.findall(direction_re, i)
    image = re.findall(image_re, i)
    if image:
        path = imagepath+filename[0]
        path_n = imagepath+direction[0]
        print path_n
        if os.path.exists(path_n):
            urllib.urlretrieve(image[1], path)
        else:
            os.makedirs(path_n)
            urllib.urlretrieve(image[1], path)

 update 1:

我在使用數據集的nus-wide-urls.txt文件時，為了避免‘\’的轉義字符問題，將其中的'\'替換為了'/'。