python爬蟲代碼優化：使用生成器重構提取數據方法

前言

在剛開始學習python的時候，有看到過迭代器和生成器的相關內容，不過當時並未深入了解，更談不上使用了

前兩天在網上沖浪時，又看到了幾篇關於生成器的文章，想到之前寫的爬蟲代碼，其實是可以用生成器來改造一下的，所以本次就使用生成器來優化一下爬蟲代碼

 

關於python迭代器、生成器的知識，推薦幾篇文章：

1. 看完這篇，你就知道Python生成器是什么
2. Python關鍵字yield的解釋
3. yield全面總結
4. Python yield from 用法詳解

 

看完上述文章后，我們可以了解到：

1. 生成器函數與普通函數的區別是，生成器用關鍵字 yield 來返回值，而普通函數用 return 一次性返回值；
2. 當你調用生成器函數的時候，函數內部的代碼並不立馬執行 ，這個函數只是返回一個生成器對象；
3. 一般使用for循環迭代生成器對象來獲取具體的返回值

什么時候可以使用生成器呢？

一般爬蟲經常會通過for循環來迭代處理數據，例如我之前爬取20頁數據時，會先把獲得的數據存儲到一個列表或字典中，然后再把整個列表或字典 return 出去，然后保存數據至本地又會再調用這個列表獲取數據（其實做了2步：先把頁面的數據提取出來存到列表，后面用的時候再迭代列表）；

類似這種直接使用列表或字典來存儲數據，其實是先存儲到了內存中，如果數據量過大的話，則會占用大量內存，這樣顯然是不合適的；

此時就可以使用生成器，我們每提取一條數據，就把該條數據通過 yield 返回出去，好處是不需要提前把所有數據加載到一個列表中，而是有需要的時候才給它生成值返回，沒調用這個生成器的時候，它就處於休眠狀態等待下一次調用

優化爬蟲代碼

首先看一下未使用生成器的代碼

# -*- coding:utf-8 -*-
import requests
from requests.exceptions import RequestException
import os, time
from lxml import etree


def get_html(url):
    """獲取頁面內容"""
    response = requests.get(url, timeout=15)
    # print(response.status_code)
    try:
        if response.status_code == 200:

            # print(response.text)
            return response.text
        else:
             return None
    except RequestException:
        print("請求失敗")
        # return None

def parse_html(html_text):
    """解析一個結果頁的內容，提取圖片url"""
    html = etree.HTML(html_text)

    if len(html) > 0:
        img_src = html.xpath("//img[@class='photothumb lazy']/@data-original")  # 提取圖片url，通過xpath提取會生成一個列表
        # print(img_src)
        return img_src  # 將提取出來的圖片url列表返回出去

    else:
        print("解析頁面元素失敗")

def get_all_image_url(depth):
    """
    提取所有頁面的所有圖片url
    :param depth: 爬取頁碼
    :return:
    """
    base_url = 'https://imgbin.com/free-png/naruto/'  # 定義初始url
    image_urls = []
    for i in range(1, depth):
        url = base_url + str(i)  # 根據頁碼遍歷請求url
        html = get_html(url)  # 解析每個頁面的內容
        # print(html)
        if html:
            list_data = parse_html(html)  # 提取頁面中的圖片url
            for img in list_data:
                image_urls.append(img)
    return image_urls

def get_image_content(url):
    """請求圖片url，返回二進制內容"""
    try:
        r = requests.get(url, timeout=15)
        if r.status_code == 200:
            return r.content
        return None
    except RequestException:
        return None

def main(depth=None):
    """
    主函數，下載圖片
    :param depth: 爬取頁碼
    :return:
    """
    j = 1
    img_urls = get_all_image_url(depth)  # 提取頁面中的圖片url
    root_dir = os.path.dirname(os.path.abspath('.'))
    save_path = root_dir + '/pics/'  # 定義保存路徑
    # print(img_urls)
    # print(next(img_urls))
    # print(next(img_urls))
    for img_url in img_urls:  # 遍歷每個圖片url
        try:
            file_path = '{0}{1}.{2}'.format(save_path, str(j), 'jpg')
            if not os.path.exists(file_path):  # 判斷是否存在文件，不存在則爬取
                with open(file_path, 'wb') as f:
                    f.write(get_image_content(img_url))
                    f.close()
                    print('第{}個文件保存成功'.format(j))
            else:
                print("第{}個文件已存在".format(j))
            j = j + 1
        except FileNotFoundError as  e:
            print("遇到錯誤：", e)
            continue

        except TypeError as f:
            print("遇到錯誤：", f)
            continue


if __name__ == '__main__':
    start = time.time()
    main(2)
    end = time.time()
    print(end-start)

parse_html()函數：它的作用解析一個結果頁的內容，提取一頁的所有圖片url（通過xpath提取，所以數據時存儲在一個列表中），可以把它改造為生成器；

get_all_image_url()函數：調用parse_html()函數，通過控制爬取頁碼，提取所有頁面的所有圖片url，然后存到一個列表中返回出去，可以改造為生成器；

main()函數：調用get_all_image_url()函數得到所有圖片url的列表，然后迭代這個列表，來得到每一個圖片url來下載圖片

接下來要做的就是改造 parse_html()函數 和 get_all_image_url()函數

這個其實也比較簡單，只需要把原本要追加到列表中的東西通過 yield 關鍵字返回出去就行了

parse_html()函數：

def parse_html(html_text):
    """解析一個結果頁的內容，提取圖片url"""
    html = etree.HTML(html_text)

    if len(html) > 0:
        img_src = html.xpath("//img[@class='photothumb lazy']/@data-original")
        # print(img_src)
        for item in img_src:
            yield item

get_all_image_url()函數

def get_all_image_url(depth):
    """
     提取所有頁面的所有圖片url
    :param depth: 爬取頁碼
    :return:
    """
    base_url = 'https://imgbin.com/free-png/naruto/'  # 定義初始url

    for i in range(1, depth):
        url = base_url + str(i)  # 根據頁碼遍歷請求url
        html = get_html(url)  # 解析每個頁面的內容
        # print(html)
        if html:
            list_data = parse_html(html)  # 提取頁面中的圖片url
            for img in list_data:
                yield img  # 通過yield關鍵字返回每個圖片的url地址

然后上面代碼中有個地方需要注意

1. for i in range(1, depth): 這個for循環，是迭代爬取頁碼

2. list_data = parse_html(html)：調用parse_html()函數，獲取每一頁內容的生成器對象

3. for img in list_data: 迭代 list_data，然后通過yield img 把值返回出去

 

get_all_image_url()函數 還可以用以下方式返回結果

def get_all_image_url(depth):
    """
     提取所有頁面的所有圖片url
    :param depth: 爬取頁碼
    :return:
    """
    base_url = 'https://imgbin.com/free-png/naruto/'  # 定義初始url

    for i in range(1, depth):
        url = base_url + str(i)  # 根據頁碼遍歷請求url
        html = get_html(url)  # 解析每個頁面的內容
        # print(html)
        if html:
            list_data = parse_html(html)  # 提取頁面中的圖片url

            yield from list_data

使用關鍵字  yield from  替代了之前的內層for循環，可以達到相同的效果（具體含義可以查看 Python yield from 用法詳解、yield from）

 

main()函數 不需要作改動，因為我們在調用生成器對象時，也是通過for循環來提取里面的值的，所以這部分代碼和之前一樣

OK，本次代碼優化到此結束，python有太多東西要學啦，感覺自己懂得還是太少，要保持學習的心態，加油~