python爬取動態加載的數據

程序開發資源庫
https://zyk.mingrisoft.com/Develop/view/id/2562/type/7/cid/49.html

分析網頁，查找數據位置

https://item.jd.com/12737107.html，想獲取商品價格

 

 

右鍵---查看網頁源代碼，Ctrl+F,發現價格信息不在html頁面內

右鍵---檢查

 

 

 寫代碼獲取數據

注意下面的url與頁面中Request URL請求的不一樣

原Request URL：

 

 現為：

url = 'https://c0.3.cn/stock?skuId=12737107&cat=1713,3287,3797&venderId=1000117165&area=8_573_5909_0&buyNum=1&choseSuitSkuIds=12752623&'\
'extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&pduid=1606567201710521294120&pdpin=&coord=&detailedAdd=&'

 

 代碼：

import requests  # 網絡請求模塊

# 頭部信息
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}
# 獲取商品價格的請求地址，因為callback參數不是必要參數，所以在實現網絡請求時可以去除該參數(必須去除）
url = 'https://c0.3.cn/stock?skuId=12737107&cat=1713,3287,3797&venderId=1000117165&area=8_573_5909_0&buyNum=1&choseSuitSkuIds=12752623&'\
'extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&pduid=1606567201710521294120&pdpin=&coord=&detailedAdd=&'
# 發送網絡請求
re = requests.get(url,headers = header)              # 網頁header里面有寫明是get還是post方法
json = re.json()    # 解析json數據
print('當前售價為：',json['stock']['jdPrice']['op'])  # 當前售價
print('定價為：',json['stock']['jdPrice']['m'])       # 定價