新學的python,興奮不已,於是網上各種資源各種爬,發現對於同樣文件下載,各個下載方法的速度是不一樣的(目前就知道兩種方法下載#尷尬)
下面分別看下吧:
下載同樣的圖片,方法二的速度是方法一的二倍
方法一:剛開始爬貼吧圖片學習到的
使用 urllib.request模塊提供的 urlretrieve() 函數。urlretrieve() 方法直接將遠程數據下載到本地。
方法 |
|
說明:
-
參數 finename 指定了保存本地路徑(如果參數未指定,urllib會生成一個臨時文件保存數據。)
-
參數 reporthook 是一個回調函數,當連接上服務器、以及相應的數據塊傳輸完畢時會觸發該回調,我們可以利用這個回調函數來顯示當前的下載進度。
-
參數 data 指 post 到服務器的數據,該方法返回一個包含兩個元素的(filename, headers)元組,filename 表示保存到本地的路徑,header 表示服務器的響應頭。
代碼實例:
import urllib.request
url = “https://xxx.com/xxx.jpg”
urllib.request.urlretrieve(imgurl, '{0}{1}.jpg'.format(paths, x))
方法二:使用requests模塊保存文件
實例代碼:
import requests
import os
res = requests.get(img_url)
with open('{}{}{}.jpg'.format(end_path, '\\', z), 'wb') as f:
f.write(res.content)