1.打開所要爬取的網頁https://s.weibo.com/weibo?q=%E7%83%AD%E6%90%9C&wvr=6&b=1&Refer=SWeibo_box
2.打開開發者工具查找所要爬取的數據位置
3.進行爬取並數據可視化
import requests#引入requests庫用於下載網頁
from bs4 import BeautifulSoup#BeautifulSoup用於解析網頁
import pandas as pd#引入pandas方便數據可視化
from pandas import DataFrame
url="https://s.weibo.com/weibo?q=%E7%83%AD%E6%90%9C&wvr=6&b=1&Refer=SWeibo_box"#所要爬取的網頁
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}#
r=requests.get(url)#請求網站
r.encoding='utf-8'#對頁面內容重新編碼
data=r.text
soup=BeautifulSoup(data,'html.parser')#使用BeautifulSoup工具
print(soup.prettify())#顯示網站結構
a=[]#創建一個空列表
index=[]
for i in soup.find_all(class_="td-01 ranktop"):#把排名添加進空列表
a.append(i.get_text().strip())
for k in soup.find_all(class_="td-01"):#把熱度標題添加進空列表
index.append(k.get_text().strip())
data=[a,index]
print(data)
s=pd.DataFrame(data,index=["排名","熱點標題\熱度"])
print(s.T)#將所得數據進行可視化
