爬取今日热榜微博的前十名热点信息数据

 

 打开今日热榜网站，鼠标右键并查看网页源代码，是html结构，找到热搜榜第一条标题所在的位置。

找到对应标签span，发现class=‘t'是标题，class=’e'是热度，此时爬取目标已经很明确了，

通过find_all()函数查找所有对应内容，最后再用.string方法将找到的内容转化为字符串形式打印出来。

整体代码如下：

import requests
from bs4 import BeautifulSoup
import pandas as pd
from pandas import DataFrame

#定义一个获取html文本的函数
def getHTMLText(url):
    try:
        #为确保成功访问网站，将爬虫伪装成浏览器
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
        r = requests.get(url,timeout = 30,headers=headers)
        r.raise_for_status()
        #更改为utf-8编码以确保不会乱码
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""

#定义一个获取并打印爬取数据的函数
def printWeiboHot(lst,html,num):
    #煲汤
    soup = BeautifulSoup(html, 'html.parser')
    #查找需要爬取的数据，并将其存放于两个列表里
    lst1 = soup.find_all('span', class_='t')
    lst2 = soup.find_all('span', class_='e')
    #主标题
    print('{:^55}'.format('微博热搜榜'))
    #列名
    print('{:^5}\t{:^40}\t{:^10}'.format('排名', '标题', '热度'))
    #通过循环把爬取的数据一行一行打印出来
    for i in range(num):
        print('{:^5}\t{:^30}\t{:^10}'.format(i+1, lst1[i].string, lst2[i].string))
        #将爬取的数据整合到一个列表里，以便输出
        lst.append([i+1,lst1[i].string,lst2[i].string])

#主函数
def main():
    num = 10
    lst = []
    url = 'https://tophub.today/'
    html = getHTMLText(url)
    printWeiboHot(lst,html,num)
    #创建一个DataFrame存放爬取的数据并将其用excel保存
    df = pd.DataFrame(lst,columns=['排名','标题','热度'])
    WeiboHot = r'C:\Users\Yaoner\WeiboHot.xlsx'
    df.to_excel(WeiboHot)
    
main()

输出到Excel的结果如下：