【Python3 爬蟲】15_Fiddler抓包分析


我們要抓取一些網頁源碼看不到的信息,例如:淘寶的評論等

我們可以使用工具Fiddler進行抓取

軟件下載地址:https://pan.baidu.com/s/1nPKPwrdfXM62LlTZsoiDsg 密碼:wche

安裝不詳細介紹,直接下一步即可

安裝完成后,運行程序如下:

image

設置代理

打開火狐瀏覽器

image

image

如下設置:

image

Fiddler默認只能抓取HTTP協議的網頁,不能抓取HTTPS協議的網頁,而我們很多時候,都需要抓HTTPS協議的網頁。

Tool-----Options-----HTTPS,設置如下:

image

設置過程中或許會提示如下,直接點擊Yes即可

image


然后點擊Actions----Export Root Certificate to Desktop

image

點擊確定后,桌面上就出現該圖標

image

接着,我們可以在瀏覽器導入該證書,我們打開火狐瀏覽器

image

【選項】---【隱私與安全】--【證書】---【查看證書】---【導入】

image

點擊【導入】

image


勾選下圖所示2個按鈕

image

上述信息設置完畢之后,我們刷新網址:https://www.taobao.com/

image

再看Fiddler什么也沒有

image

那么是什么問題呢?

接下來,我們win+R 並輸入certmgr.msc並回車打開證書管理器

image

【操作】---【查找證書】

image

此處,我們找到了很多個證書,我們通過右鍵--刪除所有證書

刪除完成之后如下圖:

image

接下來,刪除火狐中的相關證書

【選項】---【隱私與安全】---【證書】---【查看證書】

image

找到DO_NOT開頭的Fiddler證書進行刪除

依次刪除【個人】、【服務器】、【其他】下的證書

這些證書刪除完畢以后

點擊以下地址下載文件

https://files.cnblogs.com/files/OliverQin/fiddlercertmaker.zip

下載后解壓,直接打開,報錯忽略即可

image

接着重啟Fiddler,重啟完畢后,隨便打開一個商品的評論

image

先使用clear清除內容,然后刷新評論

我刷新的頁面如下:

image

刷新完畢之后再次看Fiddler

image

我們可以看到,已經可以抓取了,如果上述設置還是不行,那么打開Fiddler安裝的目錄:例如(D:\soft\fiddler)

在cmd中進入到該目錄,執行以下代碼

makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/05/2012

執行結果如下:

image

執行完畢之后再次導出導入CA證書。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM