爬蟲工程師常用的 Chrome 插件


做多了爬蟲都知道,寫一個爬蟲大部分時間不是在代碼上,而是在分析網頁上,所有有一套好用的工具可以極大節省勞動力,這里把平時積累的一些 Chrome 插件分享出來,均來自本人和同事推薦,並不定時更新,歡迎點贊和收藏。
注意下載地址是谷歌應用商店,訪問需要特殊方法,你懂的。

XPath Helper

XPath Helper
相比較 Chrome 自身的 html 搜索,這款插件好用之處是可以顯示匹配結果,在插件里寫出正確的 XPath 語句后再復制到代碼里即可。


Toggle JavaScript

Toggle JavaScript
一鍵攔截網頁所有的 JS,可以快速區分出哪些是異步加載的數據,絕對是爬蟲必備神器。


FeHelper

FeHelper
這款插件的強大之處不想多說,看上面的截圖就行了,其中一些數據轉換的功能,在分析請求時會經常用到。


### [JSON-Handle](https://chrome.google.com/webstore/detail/json-handle/iahnhfdhidomcpggpaimmmahffihkfnj) ![JSON-Handle](https://img2018.cnblogs.com/blog/1627229/201907/1627229-20190701234543632-297499716.png) 雖然上面推薦的已經帶有 JSON 功能,不過這款插件帶有局部選取、對象類型、數組長度等小功能,可以作為有額外需求時的后備之選。

User-Agent Switcher

User-Agent Switcher
快速修改 UserAgent 的插件,當需要請求移動端頁面時,或者需要傳特殊的 UA 時,不要忘記它。


X-Forwarded-For Header

X-Forwarded-For Header
有時候網站過濾 IP 是通過請求 Headers 中的 X-Forwarded-For 字段,通過這個插件就可以修改此字段,用來快速進行判斷。


SwitchyOmega

SwitchyOmega
快速切換 HTTP / Socks 代理的插件,還能根據匹配地址自動切換。另一個技巧是配合 Charles、Burp Suite 這類抓包工具,這些工具使用時需要設置本地代理,可以提前設置好用時就切換。

持續更新中,點贊是動力,有其他好用的插件也歡迎分享給我。


打包下載

如果無法進入谷歌商店,可以關注微信公眾號:面向人生編程

回復【插件】獲取打包下載

回復【資料】獲取本人精選的學習視頻及代碼

微信公眾號:面向人生編程


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM