美圖錄爬蟲(requests模塊,re模塊)

Python

爬蟲

最近學正則表達式，剛好知道這個網站美圖錄，就做了個爬蟲拿來練練手，說一說遇到的問題

一 404問題

問題:

由於圖片顯示頁面是分頁的，每一頁展示5張圖片，為了方便沒有每次去獲取下一頁鏈接，而是使用了拼接字符串的形式，本以為遇到不存在的頁面會拋出異常，測試了下，結果當網站遇到404時會直接跳轉推薦頁，於是requests還能正常返回數據

解決方法:

requests提供了一個req_object.status_code參數，用於返回頁面狀態碼，判斷一下這個參數為404就停止生成鏈接

二 文件寫入問題

問題:

寫入圖片文件，圖片無法正常顯示

解決方法:

requests提供了img.content參數，用於將接受到的信息轉換為二進制，然后在文件寫入時，寫入模式為"wb"，以二進制方式寫入

三反爬策略

問題:

爬取圖片時發現圖片會返回403(禁止訪問資源)，原因是網站做了防盜鏈處理，非本站訪問圖片都會返回403

解決方法:

在獲取圖片時添加headers請求頭，在請求頭中添加

'Referer':'https://m.meitulu.com/item/1.html'
將Referer 值設置為本站的圖片展示頁鏈接，這樣服務器會認為請求來自本站頁面，返回信息就會正常

美圖錄爬蟲

# -*- coding: utf-8 -*-
import requests
import re
import os

def url_ls(url):
    #獲取頁面所有套圖鏈接
    html=requests.get(url)
    html.encoding=html.apparent_encoding
    url_ls=re.findall("https\:\/\/m\.meitulu\.com\/item\/\w+",html.text)
    return url_ls


def tup(url):
    #獲取圖片鏈接及套圖名
    url_ls=[]
    num=1
    name=""
    while True:
        if num==1:
            url1=url+".html"
            num+=1
            print(name)
        else:
            url1=url+"_{}.html".format(num)
            num+=1
        print(url1)
        a=requests.get(url1)
        if a.status_code==404:
            break
        a.encoding=a.apparent_encoding
        my_url=re.findall("https\:\/\/mtl\.ttsqgs\.com\/images\/img\/\w+\/\w+\.jpg",a.text)
        if name=="":
            na=re.findall("\<h1\>[\w\W]+\<\/h1\>",a.text)
            nam=re.sub("\<h1\>","",na[0])
            name=re.sub("\<\/h1\>","",nam)
            print(name)
        for i in my_url:
            if "/0.jpg" not in i:
                url_ls.append(i)
    return url_ls,name

def w(url,name,num):
    headers={
'Host':'mtl.ttsqgs.com',
'Connection':'keep-alive',
'User-Agent':'Mozilla/5.0 (Linux; Android 7.1.2; M6 Note) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.105 Mobile Safari/537.36',
'Accept':'image/webp,image/apng,image/*,*/*;q=0.8',
'Referer':'https://m.meitulu.com/item/1.html',
'Accept-Encoding':'gzip, deflate, br',
'Accept-Language':'zh-CN,zh;q=0.9'
}
    name=re.sub('[\/:*?"<>|]',"_",name)
    print(name)
    print("正在下載{}".format(name))
    img=requests.get(url,headers=headers)
    os.system("clear")
    imga=img.content
    with open("./{}/{}.jpg".format(name,num),"wb") as f:
        print("正在寫入{}".format(num))
        f.write(imga)
        f.close()
    
url=input("url")
urllist=url_ls(url)
for i in set(urllist):
    tup_ls,name=tup(i)
    os.makedirs("./{}".format(name))
    n=0
    for j in tup_ls:
        n+=1
        num='{:0>4}'.format(n)
        w(j,name,num)