python利用xpath進行圖片爬取的簡單示例

xpath解析知識點：
    - 最常用也是最便捷高效的一種解析方式
    - xpath解析原理：
        - 1.實例化一個etree的對象，且需要將被解析的頁面源碼加載到對象中;
        - 2.調用etree中的xpath方法結合着xpath表達式實現標簽的定位和內容的捕獲。
    - 環境的安裝：
        - pip install lxml
    - 如何實例化一個etree對象
        - 1.將本地html文檔中的源碼數據加載到etree對象中：
            etree.parse(filePath)
        - 2.可以將從互聯網上獲取的源碼數據加載到該對象中
            etree.HTML('page_text')
        - xpath('xpath表達式')
    - xpath表達式：
        - /:表示的是從根節點開始定位，表示的是一個層級
        - //：表示的是多個層級,表示從任意位置開始定位
        - 屬性定位：//div[@class='card zz_other_shici'] （通用寫法：//tag[@attrName='attrValue']）
        - 索引定位：//div[@class="card zz_other_shici"]/ul/li[3] ，索引從1開始，表示定位第3個li標簽
        - 取文本：
            - /text()是獲取標簽中直系的文本內容
            - //text()是獲取標簽中所有的文本內容
        - 取屬性：
            - /@attrName
    - 其他
        - 解決中文亂碼問題：
            如：str 顯示亂碼，解決方法：str = str.encode('iso-8859-1').decode('gbk')

代碼：

# _*_ coding:utf-8 _*_
"""
@FileName   :6.4k圖片解析爬取.py
@CreateTime :2020/8/14 0014 10:01
@Author     : Lurker Zhang
@E-mail     : [e-mail]
@Desc.      :
"""

import requests
from lxml import etree
from setting.config import *
import json
import os
import time


def main():
    # 圖片采集源地址
    source_url = 'http://pic.netbian.com/4kmeinv/'
    temp_url = 'http://pic.netbian.com/4kmeinv/index_{}.html'
    # 本此采集前多少頁,大於1的整數
    page_sum = 5
    if page_sum == 1:
        pic_list_url = source_url
        print('開始下載:'+pic_list_url)
        down_pic(pic_list_url)
    else:
        # 先采集第一頁
        pic_list_url = source_url
        # 調用采集單頁圖片鏈接的函數
        down_pic(pic_list_url)
        # 再采集第二頁開始后面的頁數
        for page_num in range(2, page_sum + 1):
            pic_list_url = temp_url.format(page_num)
            print('開始下載:'+pic_list_url)
            down_pic(pic_list_url)

    print('采集完成，本地成功下載{0}張圖片,失敗{1}張圖片。'.format(total_success, total_fail))
    # 存儲已下載文件名列表：
    with open("../depository/meinv/pic_name_list.json",'w',encoding='utf-8') as fp:
        json.dump(pic_name_list,fp)


def down_pic(pic_list_url):
    global total_success, total_fail,pic_name_list
    # 獲取圖片列表頁的網頁數據
    pic_list_page_text = requests.get(url=pic_list_url, headers=headers).text
    tree_1 = etree.HTML(pic_list_page_text)
    # 獲取圖片地址列表
    pic_show_url_list = tree_1.xpath('//div[@class="slist"]/ul//a/@href')
    pic_url_list = [get_pic_url('http://pic.netbian.com' + pic_show_url) for pic_show_url in pic_show_url_list]

    # 開始下載並保存圖片
    for pic_url in pic_url_list:
        picname = get_pic_name(pic_url)
        if not picname in pic_name_list:
            if save_pic(pic_url, picname):
                # 將下載過的圖片記錄到已下載圖片的列表中
                pic_name_list.append(picname)
                total_success += 1
                print("成功保存圖片:{0},共成功采集{1}張。".format(picname,total_success))

            else:
                print(picname + "保存失敗")
                total_fail += 1
        else:
            print("跳過，已下載過圖片：" + picname)
            total_fail += 1


def save_pic(pic_url, picname):
    # 獲取日期作為保存位置文件夾
    path = '../depository/meinv/' + time.strftime('%Y%m%d', time.localtime()) + '/'
    if not os.path.exists(path):
        os.mkdir(path)
    pic = requests.get(url=pic_url, headers=headers).content
    try:
        with open(path + picname, 'wb') as fp:
            fp.write(pic)
    except IOError:
        return 0
    else:
        return 1


def get_pic_name(pic_url):
    return pic_url.split('/')[-1]


def get_pic_url(pic_show_url):
    tree = etree.HTML(requests.get(url=pic_show_url, headers=headers).text)
    return 'http://pic.netbian.com/' + tree.xpath('//div[@class="photo-pic"]/a/img/@src')[0]


if __name__ == '__main__':
    # 讀入已采集圖片的名稱庫，名稱存在重復的表示已經采集過將跳過不采集
    if not os.path.exists('../depository/meinv/pic_name_list.json'):
        with open("../depository/meinv/pic_name_list.json", 'w', encoding="utf-8") as fp:
            json.dump([], fp)
    with open("../depository/meinv/pic_name_list.json", "r", encoding="utf-8") as fp:
        pic_name_list = json.load(fp)
    # 記錄本次采集圖片的數量
    total_success = 0
    total_fail = 0
    main()

運行結果：