爬取虎牙直播顏值類主播封面圖

導入包，設置請求頭，url地址

 

 

---

 

使用beatifulsoup解析網頁，通過檢查可以看到所有圖片地址都在屬性為class的“pic”中，直接提取。

 

 

 

 

 

 

---

 

在這個頁面可以看到不止主播封面的圖片，還有虎牙直播的logo,二維碼等等，所以我們需要精確獲取到主播圖片的地址

 

 

 

 

 

 

 

 

 

 

---

 

這里就不做保存圖片，爬取如下：

 

 

代碼如下：

 

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}

url = 'https://www.huya.com/g/2168'
response = requests.get(url, headers=headers).text

soup = BeautifulSoup(response, 'lxml')
# class是關鍵字 它是聲明一個類的所以加下划線
girls = soup.find_all('img', class_='pic')

for girl in girls:
    girl_url = girl['data-original'].split('?')[0]
    girl_title = girl['title']
    print(girl_url, girl_title)