我們要抓取一些網頁源碼看不到的信息,例如:淘寶的評論等
我們可以使用工具Fiddler進行抓取
軟件下載地址:https://pan.baidu.com/s/1nPKPwrdfXM62LlTZsoiDsg 密碼:wche
安裝不詳細介紹,直接下一步即可
安裝完成后,運行程序如下:
設置代理
打開火狐瀏覽器
如下設置:
Fiddler默認只能抓取HTTP協議的網頁,不能抓取HTTPS協議的網頁,而我們很多時候,都需要抓HTTPS協議的網頁。
Tool-----Options-----HTTPS,設置如下:
設置過程中或許會提示如下,直接點擊Yes即可
然后點擊Actions----Export Root Certificate to Desktop
點擊確定后,桌面上就出現該圖標
接着,我們可以在瀏覽器導入該證書,我們打開火狐瀏覽器
【選項】---【隱私與安全】--【證書】---【查看證書】---【導入】
點擊【導入】
勾選下圖所示2個按鈕
上述信息設置完畢之后,我們刷新網址:https://www.taobao.com/
再看Fiddler什么也沒有
那么是什么問題呢?
接下來,我們win+R 並輸入certmgr.msc並回車打開證書管理器
【操作】---【查找證書】
此處,我們找到了很多個證書,我們通過右鍵--刪除所有證書
刪除完成之后如下圖:
接下來,刪除火狐中的相關證書
【選項】---【隱私與安全】---【證書】---【查看證書】
找到DO_NOT開頭的Fiddler證書進行刪除
依次刪除【個人】、【服務器】、【其他】下的證書
這些證書刪除完畢以后
點擊以下地址下載文件
https://files.cnblogs.com/files/OliverQin/fiddlercertmaker.zip
下載后解壓,直接打開,報錯忽略即可
接着重啟Fiddler,重啟完畢后,隨便打開一個商品的評論
先使用clear清除內容,然后刷新評論
我刷新的頁面如下:
刷新完畢之后再次看Fiddler
我們可以看到,已經可以抓取了,如果上述設置還是不行,那么打開Fiddler安裝的目錄:例如(D:\soft\fiddler)
在cmd中進入到該目錄,執行以下代碼
makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/05/2012
執行結果如下:
執行完畢之后再次導出導入CA證書。