利用python爬取股票交易數據

分析網站

找到返回的url

url = https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha&_=1637908787379

爬取股票交易數據

思路，我們利用request來請求json數據，使用pandas來解析json數據，總的來說python爬蟲不難的。

import requests
import pandas as pd


# 偽裝
headers = {
    # 瀏覽器偽裝
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}

# 空df接收數據
financial_df = pd.DataFrame([])

for page in range(1, 56):
    # 構造url
    url = f'https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha&_=1637908787379'
    response = requests.get(url, headers=headers)
    json_data = response.json()
    # 解析json數據
    df = pd.DataFrame.from_dict(json_data['data']['list'])
    financial_df = financial_df.append(df)
    print(financial_df)

financial_df.to_excel('股票交易數據.xlsx',index=False)

成果

PowerBI可視化看看

反思

不要浪費時間，加油，美好的未來。