請求頭轉換為字典


 
 

我們在寫爬蟲的時候經常需要拷貝瀏覽器的請求頭來使用,但是拷貝過來的並不是字典不能直接使用,怎么能一鍵轉換其為字典形式呢,下面介紹幾種方式:

方法一,不夠優雅:

 
 

方法二

 
 

可以發現復制請求頭很簡單了,只要把請求頭全部copy下來,然后用headers_raw_to_dict 轉一下,就直接變成了dict了.

推薦方法

方法三

借助IDE的正則替換(PyCharm為例)
PyCharm中替換的快捷鍵是Ctrl+R,選中Regex正則模式

 
源匹配為 (.*): (.*)$
替換匹配為 "$1": "$2",

方法四:Chrome插件Postman

Postman是很強大的調試工具,但是目前Google已經放棄了Chrome App,目前在商店里只能直接搜索到插件。

 
 

你可以安裝插件以后點擊鏈接獲取Postman App:

 
 
 
 

開啟Postman Interceptor,訪問的任意請求都會被Postman截獲。
在Postman點擊請求-Code-選擇Python-選擇相應方式即可。

 
 

可以看到Postman支持非常多種語言的導出。
可以看到Postman的確是個非常強大的工具,甚至可以直接幫我們生成requests代碼了,而不僅僅是把headers轉化為字典…
但是呢,我個人感覺使用Postman來干這件事有種殺雞焉用牛刀的感覺。這款工具太重了…大家需要衡量學習成本,只做爬蟲而不做Web開發的話估計用的會少一些。另一方面就是可能依然有人有人沒辦法訪問Google…

方法五:使用curlconverter

curl.trillworks.com/
使用這個方法前我們需要知道什么是curl。
curl是Linux命令行下的文件傳輸工具,可以直接訪問URL,支持多種協議和參數設置甚至cookie設置。簡單來說,就是可以模擬一個請求。
Chorme瀏覽器的開發工具支持直接copy as curl,所以我們只需要這么做:
在開發工具中選中請求copy as curl,然后粘貼到網站表單中,獲得Python代碼。

 
 

這個網站只支持Python、NodeJS和PHP。這種輕量級的方法應該是最方便的一種了…

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM