python爬蟲requests過程中添加headers

瀏覽器中打開頁面，以edge為例，點擊“查看源”或F12

第一步：點擊上圖中“網絡”標簽，然后刷新或載入頁面

第二步：在右側“標頭”下方的“請求標頭”中的所有信息都是headers內容，添加到requests請求中即可

代碼示例如下：

headers = {'Accept': 'text/html, application/xhtml+xml, image/jxr, */*',
               'Accept - Encoding':'gzip, deflate',
               'Accept-Language':'zh-Hans-CN, zh-Hans; q=0.5',
               'Connection':'Keep-Alive',
               'Host':'zhannei.baidu.com',
               'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}
r = requests.get('http://zhannei.baidu.com/cse/search', params=keyword, headers=headers, timeout=3)