python多線程爬蟲+批量下載斗圖啦圖片項目（關注、持續更新）

python多線程爬蟲項目（）

爬取目標：斗圖啦（起始url：http://www.doutula.com/photo/list/?page=1）

爬取內容：斗圖啦全網圖片

使用工具：requests庫實現發送請求、獲取響應。　　

　　　　　xpath實現數據解析、提取和清洗　　

　　　　　threading模塊實現多線程爬蟲

爬取結果：

 

思路：由於該爬蟲存在網絡密集IO和磁盤密集IO，存在大量等待時間，遂采用多線程方式爬取。

設計：本文采用多為結構化代碼的面向對象封裝設計思路，使用生產消費者模型，完成多線程的調度、爬取。

直接放代碼（詳細說明在注釋里，歡迎同行相互交流、學習~）：

import os
import threading
import re
from queue import Queue
import requests
from urllib import request
from lxml import etree

# 定義一個全局變量，存儲請求頭headers數據
headers = {
    "User-Agent": "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
}

class Producter(threading.Thread):
    """
    生產者模型：負責從起始url隊列中提取url，進行解析，將得到的圖片地址放入img圖片隊列中
    """
    def __init__(self, page_queue, img_queue, *args, **kwargs):
        # 改寫父類threading.Thread的__init__方法，添加默認值
        super(Producter, self).__init__(*args, **kwargs)
        # 添加對象屬性
        self.page_queue = page_queue
        self.img_queue = img_queue

    def run(self):
        """
        實現消費者模型的主要業務邏輯
        """ 
        while True:
            # 當請求隊列為空，生產者停止生產
            if self.page_queue.empty():
                break
            # 獲取起始url隊列的對象，進行頁面解析
            url = self.page_queue.get()
            self.parse_url(url)

    def parse_url(self, url):
        """
        實現解析指定頁面的功能
        :param url: 傳入待處理的頁面url
        """
        response = requests.get(url=url, headers=headers)
        html = etree.HTML(response.text)
        # 使用lxml庫里HTML解析器進行數據解析，利用xpath語法解析得到指定數據，返回一個element對象列表
        url_gifs = html.xpath("//div[@class='page-content text-center']//img[@class!='gif']")
        for url_gif in url_gifs:
            # element.get(屬性名)可以獲取屬性值
            url_name = url_gif.get("alt")
            # 正則表達式替換非法字符
            url_name = re.sub(r"[\!！\.\?？]", "", url_name).strip()
            url_link = url_gif.get("data-original")
            # os模塊中os.path.splitext()可以獲取url的后綴名
            url_suffix = os.path.splitext(url_link)[1]
            filename = url_name + url_suffix
            # 隊列的put（）里面傳的是元組或者列表
            self.img_queue.put((url_link, filename)) 

class Consumer(threading.Thread):
    """
    消費者模型的主要業務邏輯
    """
    
    def __init__(self, page_queue, img_queue, *args, **kwargs):
        super(Consumer, self).__init__(*args, **kwargs)
        self.page_queue = page_queue
        self.img_queue = img_queue

    def run(self):
        """
        實現讀取圖片url內容的功能
        """
        while True:
            if self.page_queue.empty() and self.img_queue.empty():
                break
            url, filename = self.img_queue.get()
            # urllib庫里面的request模塊可以讀取圖片url內容
            request.urlretrieve(url, "GIF/" + filename)
            # 控制台輸出提示信息
            print(filename + "-------下載完成！")

def main():
    # 創建page隊列，存放請求的起始url;創建img隊列，存放圖片data的url
    page_queue = Queue(100) # 設置隊列的最大存儲數量
    img_queue = Queue(1000) # 設置隊列的最大存儲數量
    for i in range(100):
        start_url_format = "http://www.doutula.com/photo/list/?page={}".format(i)
        # print(start_url_format) #調試代碼用
        page_queue.put(start_url_format) #將獲取的起始url放入隊列中
    # 生成多線程對象（多個生產者、消費者）。實現發送請求，獲取響應，解析頁面，獲取數據
    for i in range(10):
        t = Producter(page_queue, img_queue)
        t.start()
    for i in range(10):
        t = Consumer(page_queue, img_queue)
        t.start()

if __name__ == '__main__':
    main()