學習重點:
一、主要的安裝包，requests、BeautifulSoup4
二、首先爬取每頁的網址
三、再爬取每頁的全部圖片
四、下載圖片和設置保存路徑和圖片名字
五、整合代碼
1、主要的安裝包requests、BeautifulSoup4
1）用來請求網絡數據requests
2）用來解析html文檔，然后過濾我們需要的數據BeautifulSoup4
3）引用安裝包有兩種方法，可以全部導入進來，也可以只導入你需要的部分進來
import requests From bs4 import BeautifulSoup4
2、首先爬取每頁的網址
爬取的網站為斗圖啦：https://www.doutula.com/photo/list/
我們要來分析一下爬取網站的url=https://www.doutula.com/photo/list/ 當你點擊到不同的頁面上是會發現網址變了，而且還非常有規律的變化，如圖到第三頁（https://www.doutula.com/photo/list/?page=3）多了一個?page=3，
當你到100頁你發現多了一個?page=100，所以我們可以用一個For循環來獲取全部的頁面，
BASE_PAGE_URL = ‘https://www.doutula.com/photo/list/?page=’ BASE_URL_LIST = [] for x in range(1,401): #爬取1到400頁的表情
url = BASE_PAGE_URL + str(x)#將1到400轉換成字符串形式
#print(url)#可以打印來看看是不是1-400頁全部的網址
PAGE_URL_LIST.append(url)#存入到列表中
打印結果：
3、再爬取每頁的全部圖片
爬取每頁的全部圖片，這時就需要來分析網頁源代碼，看圖片放在什么地方。鼠標右擊進入網頁元素界面如下圖：
要想找到某張圖片對應的網頁源代碼，點擊如圖所示箭頭即可快速找到
找到資源那就來分析是不是有規律，果然如此，我們發現每張圖片的img標簽的屬性class都相同class= “img-responsive lazy image_dta loaded”,不要加loaded，加了下載不到圖片（原因不明）
所以又可以通過For循環來獲取整頁的圖片網址
re = requests.get('https://www.doutula.com/photo/list/?page=1') content = re.content # 解析該頁面
soup = BeautifulSoup(content, 'lxml') img_list = soup.find_all('img', attrs={'class': 'img-responsive lazy image_dta'}) for img in img_list: print('http:' + img['data-original']) print('_'*30)
打印結果：點擊網址即可出現圖片
4、下載圖片的保存路徑和圖片名稱設置
這里需要用到另外一個python自帶urllib.request庫，導入方法同上。
url = 'http://ww1.sinaimg.cn/bmiddle/9150e4e5gy1g3wwi7dn6sj208c08caab.jpg' split_list = url.split('/')#將url字符串分割成四段[‘http:’,’ww1.sinaimg.cn’,’bmiddle’,’9150e4e5gy1g3wwi7dn6sj208c08caab.jpg’]
filename = split_list.pop() #將9150e4e5gy1g3wwi7dn6sj208c08caab.jpg作為圖片的名字
path = os.path.join('imgpic', filename)#保存路徑， #注意Windows為（反斜杠）和Linux（斜杠）里面路徑不同 #D:\sourceis\imgpic #~/oyl_python/imgpic
urllib.request.urlretrieve(url, filename=path)
運行結果：創建了一個imgpic的文件夾，里面下載了一張名稱為9150e4e5gy1g3wwi7dn6sj208c08caab.jpg的圖片
5、整合代碼
#!/usr/bin/env/python # _*_coding:utf-8 _*_
#用來請求網絡數據
import requests import urllib.request #用來解析HTML文檔，然后過濾我們需要的數據
from bs4 import BeautifulSoup import os #每頁數據 https://www.doutula.com/photo/list/?page=1
#獲取1到400的全部頁面 BASE_PAGE_URL = 'https://www.doutula.com/photo/list/?page=' PAGE_URL_LIST = [] for x in range(1,401): url = BASE_PAGE_URL + str(x) PAGE_URL_LIST.append(url) def download_imge(url): #url = 'http://ww1.sinaimg.cn/bmiddle/9150e4e5gy1g3wwi7dn6sj208c08caab.jpg'
split_list = url.split('/') filename = split_list.pop() path = os.path.join('imgpic', filename) try: urllib.request.urlretrieve(url, filename=path) except: pass
def get_page(page_url): # 獲取每頁里面的圖片
#re = requests.get('https://www.doutula.com/photo/list/?page=1')
re = requests.get(page_url) # print(re.content)
content = re.content # 解析該頁面
soup = BeautifulSoup(content, 'lxml') img_list = soup.find_all('img', attrs={'class': 'img-responsive lazy image_dta'}) # print(img_list)
for img in img_list: # print('http:' + img['data-original'])
# print('_'*30)
# url = 'http:' + img["data-original"]
url = img["data-original"] download_imge(url) def main(): for page_url in PAGE_URL_LIST: get_page(page_url) pass
if __name__ == '__main__': main()