知識點

爬蟲的步驟
requests
parsel
xpath數據解析

爬蟲四個步驟:

1.獲取網頁地址 (目標地址)
2.發送請求
3.數據解析
4.保存本地

【付費VIP完整版】只要看了就能學會的教程，80集Python基礎入門視頻教學

分析網站

目標網址：https://hdqwalls.com/

網站是靜態數據，那么只要找到它的規律，以及url地址就行

對於本篇文章有疑問的同學可以加【資料白嫖、解答交流群：1039649593】

代碼實現

導入模塊

import requests
import parsel

請求數據

url =f'https://hdqwalls.com/latest-wallpapers/page/1'
# url = 'https://hdqwalls.com'
# 請求頭  偽裝  爬蟲:偽裝成客戶端向服務器發送數據請求
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}

requ = requests.get(url=url, headers=headers).text

數據解析

sel = parsel.Selector(requ)  # <Selector xpath=None data='<html lang="en">\n<head>\n<script src="...'>
pic_html = sel.xpath('//body/div/div[3]/div/a[1]/@href').getall()
for html in pic_html:
    pic_html = 'https://hdqwalls.com' + html
    requ2 = requests.get(url=pic_html, headers=headers).text
    sel2 = parsel.Selector(requ2)
    title = sel2.xpath('//body/header/div/div/h1/text()').get().strip()
    href = sel2.xpath('//body/div/div[2]/div/div/div/a/@href').get()
    # 二進制請求
    requ3 = requests.get(url=href, headers=headers).content

保存數據

with open('壁紙\\' + title + '.jpg', mode='wb')as fp:
    fp.write(requ3)
    print(title, '下載完成')

添加翻頁后的完整代碼

import requests
import parsel


for page in range(1,6):   # 包頭不包尾
    url =f'https://hdqwalls.com/latest-wallpapers/page/{page}'
    # url = 'https://hdqwalls.com'
    # 請求頭  偽裝  爬蟲:偽裝成客戶端向服務器發送數據請求
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
    }

    requ = requests.get(url=url, headers=headers).text  # <Response [200]> 數據請求成功
    sel = parsel.Selector(requ)  # <Selector xpath=None data='<html lang="en">\n<head>\n<script src="...'>
    pic_html = sel.xpath('//body/div/div[3]/div/a[1]/@href').getall()
    for html in pic_html:
        pic_html = 'https://hdqwalls.com' + html
        requ2 = requests.get(url=pic_html, headers=headers).text
        sel2 = parsel.Selector(requ2)
        title = sel2.xpath('//body/header/div/div/h1/text()').get().strip()
        href = sel2.xpath('//body/div/div[2]/div/div/div/a/@href').get()
        # 二進制請求
        requ3 = requests.get(url=href, headers=headers).content
        with open('壁紙\\' + title + '.jpg', mode='wb')as fp:
            fp.write(requ3)
            print(title, '下載完成')
    print(f'----------------------第{page}頁下載完成----------------------')

運行代碼

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 用python爬蟲爬取壁紙圖片（入門級代碼） 20行Python代碼實現爬取起點小說 python爬蟲-基礎入門-爬取整個網站《3》 Python--爬蟲之(斗圖啦網站)圖片爬取【Python爬蟲】15行代碼教你爬B站視頻彈幕，詞雲圖展示數據（附源碼） WinformGDI+入門級實例——掃雷游戲(附源碼) 爬蟲實戰系列（一）：爬取某網站圖片 python爬蟲：爬取某網站視頻 Python爬蟲實踐——爬取網站文章如何利用Python網絡爬蟲爬取微信朋友圈動態--附代碼（下）