爬蟲常用的chrome插件


XPath Helper

技術圖片
相比較 Chrome 自身的 html 搜索,這款插件好用之處是可以顯示匹配結果,在插件里寫出正確的 XPath 語句后再復制到代碼里即可。

Toggle JavaScript

技術圖片
一鍵攔截網頁所有的 JS,可以快速區分出哪些是異步加載的數據,絕對是爬蟲必備神器。

FeHelper

技術圖片
這款插件的強大之處不想多說,看上面的截圖就行了,其中一些數據轉換的功能,在分析請求時會經常用到。

User-Agent Switcher

技術圖片
快速修改 UserAgent 的插件,當需要請求移動端頁面時,或者需要傳特殊的 UA 時,不要忘記它。

X-Forwarded-For Header

技術圖片
有時候網站過濾 IP 是通過請求 Headers 中的 X-Forwarded-For 字段,通過這個插件就可以修改此字段,用來快速進行判斷。

SwitchyOmega

技術圖片
快速切換 HTTP / Socks 代理的插件,還能根據匹配地址自動切換。另一個技巧是配合 Charles、Burp Suite 這類抓包工具,這些工具使用時需要設置本地代理,可以提前設置好用時就切換。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM