上圖請求頭內容,內容多不說,也不確認哪些數據是必須的,網上找到一個懶辦法
快速一鍵生成 Python 爬蟲請求頭
實戰演練
抓取網站:https://developer.mozilla.org...
網站在線轉換
1,Chrome 打開開發者選項( f12 )---> network 選項卡 ---> 刷新頁面,獲取請求 ---> 找到頁面信息對應的請求 (通過請求的名稱、后綴和 response 內容來判斷)
2,右鍵,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】
3,打開網站,https://curl.trillworks.com/,粘貼 cURL (bash) 到左邊 curl command,右邊會自動出 Python 代碼
4,生成代碼如下圖
5,print ( response.text ) 就可以直接打印網頁源代碼啦!
Postman
1,下載 postman ( Chrome 也有個 postman 的插件,操作應該差不多)
2,打開 postman,彈出的界面可以直接關掉
3,import --> paste raw text,在 Chrome 里復制 curl (bash),粘貼到下面的對話框里,點擊 import 按鈕
4,點擊 send,模擬網絡請求,下方可查看源代碼
5,確保源代碼正常后,點擊 code
6,左上角可以選擇編程語言,右上角復制到剪貼板
大功告成!