校花網

校花網

思路

正常思路

遇到問題

圖片鏈接有完整的和不完整的

import requests
from lxml import etree
import os

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

def work():
    if not os.path.exists("pic"):
        os.mkdir("pic")

    url="http://www.xiaohuar.com/2014.html"

    res=requests.get(url=url,headers=headers).text
    tree=etree.HTML(res)
    imgs=tree.xpath("//div[@id='images']/div/div/a/img/@src")

    for i in imgs:
        i=str(i)
        #爬取的圖片鏈接有兩種形式，一種是完整的，一種是殘缺的，篩選出殘缺的，然后進行拼接
        if i.startswith("/d"):
            img_url="http://www.xiaohuar.com"+i
        else:
            img_url=i

        img_name="pic/"+i.split("/")[-1]
        #獲取圖片數據
        res=requests.get(url=img_url,headers=headers).content
        with open(img_name,"wb")as fw:
            fw.write(res)
            print(img_name+"下載成功！")

if __name__ == '__main__':
    work()