亞馬遜商品頁面的簡單爬取 --Pyhon網絡爬蟲與信息獲取

1、亞馬遜商品頁面鏈接地址(本次要爬取的頁面url)

https://www.amazon.cn/dp/B07BSLQ65P/

2、代碼部分

import requests
url = "https://www.amazon.cn/dp/B07BSLQ65P/"
try:
    kv = {'user-agent': 'Mozilla/5.0'}
    # 修改了發起請求的請求頭中的user-agent的值，告訴目的url這是由瀏覽器發送的請求
    r = requests.get(url, headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text)
except:
    print("爬取頁面失敗！")

3、打印結果

根據打印出的信息，很明顯不是爬取到的目的url頁面。可以將爬取到的頁面在瀏覽器中打開，可以看到爬取到的其實是這樣的頁面：

其實，這應該是亞馬遜網站反爬蟲的策略。對於如何爬取亞馬遜商品頁面，當然應該會有方法的，暫時先記錄到這里吧！