Python爬取mn52網站美女圖片以及圖片防盜鏈的解決方法

防盜鏈原理

http標准協議中有專門的字段記錄referer

一來可以追溯上一個入站地址是什么

二來對於資源文件，可以跟蹤到包含顯示他的網頁地址是什么

因此所有防盜鏈方法都是基於這個Referer字段

 

so:很多網站使用防盜鏈的方法來設置反爬蟲機制，設置這種機制后通過圖片路由直接訪問會返回403錯誤，

其實解決辦法很簡單，加入header，然后把Referer寫入即可！

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
        'Referer': url
    }

本文爬取https://www.mn52.com/網站上面的清純美女圖片，代碼如下；

# 需要的庫
import requests
import re
import os
from multiprocessing import Pool
# 主函數
def get_img(url):
    # 設置圖片存儲路徑
    path = './mn52/'
    if not os.path.exists(path):
        os.mkdir(path)
    # 請求頭，因為圖片路由有防盜鏈設置所以在headers中添加'Referer': url
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
        'Referer': url
    }
    try:
        # 請求主頁面路由
        response = requests.get(url=url,headers=headers)
        # print(response.text)
        # 正則提取並遍歷獲取分頁面
        res_paging = re.findall('<div class="picbox">.*?<a href="(.*?)"',response.text,re.S)
        for i in res_paging:
            # 拼接分頁面路由
            url_infos = 'https://www.mn52.com' + i
            # 請求分頁面路由
            res_details = requests.get(url=url_infos,headers=headers)
            # 遍歷獲取圖片路由
            res_detail = re.findall('<div class="img-wrap">.*?<img .*?rel="(.*?)"/>',res_details.text,re.S)
            for i in res_detail:
                # 拼接圖片路由
                img_urls = 'https:'+i
                # 給圖片命名
                filename = i.split('/')[-1]
                # 判斷圖片是否已下載
                if os.path.exists(path+str(filename)):
                    print('圖片已存在')
                else:
                    # 請求圖片連接
                    res = requests.get(url=img_urls,headers=headers)
                    # 保存圖片
                    with open(path+str(filename),'wb') as f:
                        f.write(res.content)
                        # 打印下載信息
                        print('正在下載：'+img_urls)
    except Exception as e:
        print(e)
# 程序入口
if __name__ == '__main__':
    # 構造完整路由
    urls = ['https://www.mn52.com/meihuoxiezhen/list_2_{}.html'.format(i) for i in range(1,94)]
    # 開啟多進程
    pool = Pool()
    # 啟動程序
    pool.map(get_img,urls)
    print('抓取完成')

圖片比較多，需要一些時間下載，控制台顯示的下載過程

打開文件查看圖片是否下載成功

 

done