爬取今日熱榜微博的前十名熱點信息數據

 

 打開今日熱榜網站，鼠標右鍵並查看網頁源代碼，是html結構，找到熱搜榜第一條標題所在的位置。

找到對應標簽span，發現class=‘t'是標題，class=’e'是熱度，此時爬取目標已經很明確了，

通過find_all()函數查找所有對應內容，最后再用.string方法將找到的內容轉化為字符串形式打印出來。

整體代碼如下：

import requests
from bs4 import BeautifulSoup
import pandas as pd
from pandas import DataFrame

#定義一個獲取html文本的函數
def getHTMLText(url):
    try:
        #為確保成功訪問網站，將爬蟲偽裝成瀏覽器
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
        r = requests.get(url,timeout = 30,headers=headers)
        r.raise_for_status()
        #更改為utf-8編碼以確保不會亂碼
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""

#定義一個獲取並打印爬取數據的函數
def printWeiboHot(lst,html,num):
    #煲湯
    soup = BeautifulSoup(html, 'html.parser')
    #查找需要爬取的數據，並將其存放於兩個列表里
    lst1 = soup.find_all('span', class_='t')
    lst2 = soup.find_all('span', class_='e')
    #主標題
    print('{:^55}'.format('微博熱搜榜'))
    #列名
    print('{:^5}\t{:^40}\t{:^10}'.format('排名', '標題', '熱度'))
    #通過循環把爬取的數據一行一行打印出來
    for i in range(num):
        print('{:^5}\t{:^30}\t{:^10}'.format(i+1, lst1[i].string, lst2[i].string))
        #將爬取的數據整合到一個列表里，以便輸出
        lst.append([i+1,lst1[i].string,lst2[i].string])

#主函數
def main():
    num = 10
    lst = []
    url = 'https://tophub.today/'
    html = getHTMLText(url)
    printWeiboHot(lst,html,num)
    #創建一個DataFrame存放爬取的數據並將其用excel保存
    df = pd.DataFrame(lst,columns=['排名','標題','熱度'])
    WeiboHot = r'C:\Users\Yaoner\WeiboHot.xlsx'
    df.to_excel(WeiboHot)
    
main()

輸出到Excel的結果如下：