Fiddler是一個常見的抓包分析軟件,同時我們可以利用它詳細地對HTTP請求進行分析,並模擬對應的HTTP請求.
為什么使用Fiddler軟件?
網絡爬蟲是自動爬取網頁的程序,在爬取的過程中必然涉及客戶端和服務端的通信,自然也需要發送一些HTTP請求,並接受服務器返回的結果.在一些稍復雜的網絡請求紅,我們直接看網址變化時看不出規律的,此時如果要進行自動化爬取網頁,就必須要通過程序結果這些請求,而通過程序結果這些請求,就必須首先分析這些請求的規律,所以此時我們要使用工具攔截這些請求,對其分析,這個過程如果使用抓包軟件配合進行,則會變得更加輕松.
Fiddler的基本原理
在下圖可以看出,如果沒有Fiddler,本地應用如果要與服務器進行通信,可以直接向服務器發送Request請求,待服務器處理之后將處理結果返回本地,本地應用接受響應response.
如果有Fiddler,本地應用與服務器之間所有的Request和Response都將經過Fiddler,由Fiddler進行轉發,可以看出,此時Fiddler以代理服務器的方式存在,由於所有的網絡數據都會經過Fiddler,自然Fiddler能過攔截獲取這些數據,始興縣網絡數據的抓包.
Fiddler的基本界面
在下圖中,(1)處指位置為Fiddler的菜單欄,(2)處所指位置為Fiddler的工具欄,(3)處所指為Fiddler的會話欄,我們本地應用與互聯網通信的會話信息在此顯示,(4)處所指位置是Fiddler的QuickExec命令輸入窗口,在此我們可以輸入一些Fiddler指定來快速實現某些功能
Fiddler捕獲會話功能
安裝完Fiddler后,我們就學習如何使用它捕獲瀏覽器與服務器之間的會話信息.在此以Firefox火狐瀏覽器為例,讓火狐瀏覽器使用Fiddler作為其代理服務器,設置火狐瀏覽器的方法如下:
首先點擊火狐瀏覽器的設置,在點擊高級,在"高級"中將標簽切換成"網絡".
隨后在"網絡"下方看到鏈接"字樣",我們單擊"鏈接"右方的設置,單擊后選擇"手動配置代理",並將"HTTP"代理設置為"127.0.0.1",端口設置為"8888",因為Fiddler監控的地址是127.0.0.1:8888.設置好之后,點擊"確定"
現在網站有的使用HTTP協議,有的使用HTTPS協議,如果想讓Fiddler能夠捕獲他們,還需要設置下Fiddler,打開Fidddler,然后單擊"Tools",選擇"Fiddler-->Options",在隨后彈出的界面中選擇"HTTPS"標簽,將下方選項全部勾選上,配置好之后,現在的Fiddler就能捕獲火狐瀏覽器與服務器之間的HTTP和HTTPS會話信息了.
任意打開一個網址可以看到以一下界面,此時的標簽時"Statistics",顯示的是一些頁面統計信息.
將標簽切換為"Inspectors",顯示的是一些嗅探細信息,並且該標簽下有很多子標簽,比如"Headers",字標簽表示的網頁是一些頭信息.
使用QuickExec命令行
在Fiddler中我們可以使用命令快速完成一些功能,在Fiddler界面中,會話列表下方有一個輸入小框,在此介紹一些常用的Fiddler命令.
1.cls
cls是清屏命令,輸入該命令可以清空會話列表的所有會話,有時候,由於傳遞的數據增多,在Fiddler會話列表中會出現大量的會話信息,此時界面相對來說比較雜亂,所以在可以輸入該命令清空回話信息列表.
2.select
通過select命令我們可以選擇出某一類型HTTP會話功能,比如想選擇出所有HTML網頁類型的HTTP回話,可以輸入命令:select html,輸入命令后回車可以發現.會話列表中所有html類型的會話都已被選中.
如果想選出所有圖片類型的會話信息,可以輸入命令:select image
3.?
? 命令可以查找出網址中包含某些字符的會話信息,比如"?pic"可以查找出網址中包含"pic"字符串的會話信息
4. hetlp命令
help命令可以打開Fiddler官方的使用手冊.