python爬取網頁圖片並保存到本地

先把原理梳理一下：首先我們要爬取網頁的代碼，然后從中提取圖片的地址，通過獲取到的地址來下載數據，並保存在文件中，完成。

下面是具體步驟：

先確定目標，我挑選的是國服守望先鋒的官網的英雄頁面，我的目標是爬取所有的英雄的圖片

頁面是這樣的

 

 

 首先做的就是得到它的源代碼找到圖片地址在哪里

這個函數最終會返回網頁代碼

def getHtml(url):
    html = requests.get(url)
    return html.text

　將其先導入文本文件觀察

 

 

 發現圖片的地址所在位置格式是這樣

<img src="https://overwatch.nosdn.127.net/1/assets/img/pages/heroes/list/zarya.png" class="portrait" />

因此就可以依此寫出正則表達式，並從網頁代碼中將圖片地址提取出來

    imagelist=re.findall('img src="(.*?)" class="portrait"',html)

　　上面這句話得到的就是圖片地址的集合

之后要做的就是遍歷集合中的地址，依此下載並保存到目標的文件夾中

下面是項目完整代碼

 

# -*- coding: utf-8 -*-
'''
Created on 2020年3月12日

@author: 20514
'''
import requests
import re
#打開網頁,獲取網頁源碼
def getHtml(url):
    html = requests.get(url)
    
    return html.text

def getImag(html):
    imagelist=re.findall('img src="(.*?)" class="portrait"',html)
 
    pat = 'list/(.*?).png' 
    ex = re.compile(pat)    
    i=1
    for url in imagelist:
        print('Downloding:'+url) 
        #從圖片地址下載數據
        image=requests.get(url)
#         獲取英雄名（這里可以自己為文件取名就行，下面的name變量是從圖片地址中提取到的英雄名）
        pat = 'list/(.*?).png' 
        ex = re.compile(pat) 
        if ex.search(url):
            name=ex.search(url).group(1)
        else:
            pat ='heroes/(.*?)/hero-select' 
            ex = re.compile(pat)
            if ex.search(url):
                name=ex.search(url).group(1)               
            else:
                name='new'+str(i)+'?'
                i=i+1
        #在目標路徑創建相應文件
        f=open('C:\\Users\\20514\\Desktop\\owhero\\'+name+'.png','wb')
        #將下載到的圖片數據寫入文件
        f.write(image.content)
        f.close()
  

    return '結束'

print('獲取ow官網英雄圖片')
url='https://ow.blizzard.cn/heroes/'
print('正在獲取圖片')
html=getHtml(url)
print('下載圖片中')
print(getImag(html))
print('下載完成')        

　　效果：

 

 -------------------------------------------------------------------------------------------------------------------------------------

近幾天學了點通過python爬取網頁的知識，不得不說跟java相比起來，這方面python真的方便太多了。