python requests庫網頁爬取小實例：亞馬遜商品頁面的爬取

由於直接通過requests.get()方法去爬取網頁，它的頭部信息的user-agent顯示的是python-requests/2.21.0，所以亞馬遜網站可能會拒絕訪問。所以我們要更改訪問的頭部信息以對網站進行訪問，更改頭部信息模擬瀏覽器訪問。

#亞馬遜商品頁面的爬取
import requests
url="https://www.amazon.cn/dp/B07GVXHCXH"
try:
    kv={'user-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失敗")