Python抓取糗事百科成人版圖片

最近開始學習爬蟲，一開始看的是靜覓的爬蟲系列文章，今天看到糗事百科成人版，心里就邪惡了一下，把圖片都爬下來吧，哈哈~

雖然后來實現了，但還是存在一些問題，暫且不提，先切入正題吧，沒什么好說的，直接上代碼如下：

環境：Python2.79

 

#coding: utf-8
import urllib2
import urllib
import re
import os

#糗百成人版抓取圖片
class QBAdult:

    #類初始化
    def __init__(self):
        self.baseURL = "http://www.qiubaichengnian.com/"
    #獲取索引頁面內容
    def getPage(self, pageIndex):
        url = self.baseURL + "index_" + str(pageIndex) + ".html"
        req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
                        'Accept':'text/html;q=0.9,*/*;q=0.8',
                        'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                        'Accept-Encoding':'gzip',
                        'Connection':'close',
                        'Referer':None #注意如果依然不能抓取的話，這里可以設置抓取網站的host
                    }
        req_timeout = 5
        request = urllib2.Request(url, None, req_header)
        reponse = urllib2.urlopen(request, None, req_timeout)
        #print reponse.read().decode('gbk')
        return reponse.read().decode('gbk')

    #獲取頁面所有條目信息，list格式
    def getContents(self, pageIndex):
        page = self.getPage(pageIndex)
        pattern = re.compile('div class="ui-module".*?<a href=.*?>(.*?)</a>.*?<img.*?src="(.*?)"', re.S)
        items = re.findall(pattern, page)
        #for item in items:
            #print item[0], item[1]
        return items


    #獲取頁面所有圖片
    def getAllImgs(self, items):

        images = []
        for item in items:
            images.append(item[1])
        return images


    #保存多張圖片
    def saveAllImg(self, images, n, name):
        number = 1
        print u"--------------正在保存第", n , u"頁美女圖片-------------"
        for imageURL in images:
            splitPath = imageURL.split('.')
            fTail = splitPath.pop()
            fileName = name + "/" + str(n) + "-" + str(number) + "." + fTail
            self.saveImg(imageURL, fileName)
            number += 1


    #傳入圖片地址，文件名，保存單張圖片
    def saveImg(self, imageURL, fileName):
        u = urllib.urlopen(imageURL)
        data = u.read()
        f = open(fileName, 'wb')
        f.write(data)
        print u"正在保存美女圖片", fileName
        f.close()

    #創建新目錄
    def mkdir(self, path):
        path = path.strip()
        #判斷是否存在
        isExists = os.path.exists(path)
        if not isExists:
            print u"新建名字為", path, u"的文件夾"
            os.makedirs(path)
            return True
        else:
            #如果目錄存在則不創建，並提示目錄已存在
            print u"名為", path, u"的文件夾已經創建成功"
            return False


    def savePageInfos(self, start, end):
        fileName = "beautifull"
        #獲取一頁內容,存入beautifull文件夾
        self.mkdir(fileName)
        for i in range(start, end+1):
            print u"正在保存第", i, "頁的美女圖片"
            contents = self.getContents(i)
            images = self.getAllImgs(contents)
            self.saveAllImg(images, i, fileName)


qAdult = QBAdult()
qAdult.savePageInfos(1, 301)

 

其中16-23行的代碼是后來出現IOERROR以及超時等錯誤后加上的，但是這種方法只是治標不治本，時不時程序還會停止，錯誤如下：

小規模抓取圖片，幾百頁抓取會出現如上問題，我還沒有找到什么原因。。。。