【轉】用Fiddler做抓包分析詳解


1.為什么是Fiddler? 

抓包工具有很多,小到最常用的web調試工具firebug,達到通用的強大的抓包工具wireshark.為什么使用fiddler?原因如下:

a.Firebug雖然可以抓包,但是對於分析http請求的詳細信息,不夠強大。模擬http請求的功能也不夠,且firebug常常是需要“無刷新修改”,如果刷新了頁面,所有的修改都不會保存。

b.Wireshark是通用的抓包工具,但是比較龐大,對於只需要抓取http請求的應用來說,似乎有些大材小用。

c.Httpwatch也是比較常用的http抓包工具,但是只支持IE和firefox瀏覽器(其他瀏覽器可能會有相應的插件),對於想要調試chrome瀏覽器的http請求,似乎稍顯無力,

Fiddler是以本地代理web服務器的形式工作的,它使用代理地址:127.0.0.1,端口:8888任何能夠設置 HTTP 代理為 127.0.0.1:8888 的瀏覽器和應用程序都可以使用 Fiddler。

2.什么是Fiddler?

Fiddler是位於客戶端和服務器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和服務器之間的所有 HTTP請求,可以針對特定的HTTP請求,分析請求數據、設置斷點、調試web應用、修改請求的數據,甚至可以修改服務器返回的數據,功能非常強大,是web調試的利器。

既然是代理,也就是說:客戶端的所有請求都要先經過Fiddler,然后轉發到相應的服務器,反之,服務器端的所有響應,也都會先經過Fiddler然后發送到客戶端,基於這個原因,Fiddler支持所有可以設置http代理為127.0.0.1:8888的瀏覽器和應用程序。使用了Fiddler之后,web客戶端和服務器的請求如下所示:

 

Fiddler 作為系統代理,當啟用 Fiddler 時,IE 的PROXY 設定會變成 127.0.0.1:8888,因此如果你的瀏覽器在開啟fiddler之后沒有設置相應的代理,則fiddler是無法捕獲到HTTP請求的。如下是啟動Fiddler之后,IE瀏覽器的代理設置:

 

以Firefox為例,默認情況下,firefox是沒有啟用代理的(如果你安裝了proxy等代理工具或插件,是另外一種情況),在firefox中配置http代理的步驟如下:

工具->選項->高級->網絡->設置  。並配置相應的代理如下:

 

就可以使用Fiddler抓取Firefox的HTTP請求了。

3.Fiddler使用界面簡介

Fiddler主界面的布局如下:

主界面中主要包括四個常用的塊:

 

1.Fiddler的菜單欄,上圖綠色部分。包括捕獲http請求,停止捕獲請求,保存http請求,載入本地session、設置捕獲規則等功能。

 

2.Fiddler的工具欄,上圖紅色部分。包括Fiddler針對當前view的操作(暫停,清除session,decode模式、清除緩存等)。

3.web Session面板,上圖黃色區域,主要是Fiddler抓取到的每條http請求(每一條稱為一個session),主要包含了請求的url,協議,狀態碼,body等信息,詳細的字段含義如下圖所示:

 

4.詳情和數據統計面板。針對每條http請求的具體統計(例如發送/接受字節數,發送/接收時間,還有粗略統計世界各地訪問該服務器所花費的時間)和數據包分析。如inspector面板下,提供headers、textview、hexview,Raw等多種方式查看單條http請求的請求報文的信息:

而composer面板下,則可以模擬向相應的服務器發送數據的過程(不錯,這就是灌水機器人的基本原理,也可以是部分http flood的一種方式)。

 

也可以粘貼一次請求的raw http headers,達到模擬請求的目的:

 

Filter標簽則可以設置Fiddler的過濾規則,來達到過濾http請求的目的。最簡單如:過濾內網http請求而只抓取internet的http請求,或則過濾相應域名的http請求。Fiddler的過濾器非常強大,可以過濾特定http狀態碼的請求,可以過濾特定請求類型的http請求(如css請求,image請求,js請求等),可以過濾請求報文大於或則小於指定大小(byte)的請求:

請多的過濾器規則需要一步一步去挖掘。

 

Fiddler抓取HTTP請求。

抓包是Fiddler的最基本的應用,以本博客為例,啟動Fiddler之后,在瀏覽器中輸入http://blog.csdn.net/ohmygirl 鍵入回車之后,在Fiddler的web session界面捕獲到的HTTP請求如下圖所示:

 

各字段的詳細說明已經解釋過,這里不再說明。需要注意的是#號列中的圖標,每種圖標代表不同的相應類型,具體的類型包括:

 

另外,注意請求的host字段。可以看到有來自多個www.csdn.net的子域名的響應,說明在大型網站的架構中,大多需要多個子域名,這些子域名可能是單獨用於緩存靜態資源的,也可能是專門負責媒體資源的,或者是專門負責數據統計的(如pingback)。

右鍵單擊其中的一條請求。可以選擇的操作有:save(保存請求的報文信息,可以是請求報文,可以是響應報文)。例如,我們保存的一條請求頭信息如下:

 

不僅是單條session,Fiddler還支持保存所有抓取到的session(並支持導入),這對於抓取可疑請求然后保存,並在之后隨時分析這些請求是很有幫助的。

如果想要重新發送某些請求,可以選中這些請求,然后點擊工具欄中的reply.就可以重新發送選中的這些請求。

左鍵點擊單條HTTP請求,可以在右側的tab面板中看到如下信息:

1. Statistic。

關於HTTP請求的性能和其他數據分析:

 

我們可以從中看出一些基本性能數據:如DNS解析的時間消耗是8ms,建立TCP/IP連接的時間消耗是8ms等等信息。

2. Inspectors。

分為上下兩個部分,上半部分是請求頭部分,下半部分是響應頭部分。對於每一部分,提供了多種不同格式查看每個請求和響應的內容。JPG 格式使用 ImageView 就可以看到圖片,HTML/JS/CSS 使用 TextView 可以看到響應的內容。Raw標簽可以查看原始的符合HTTP標准的請求和響應頭。Auth則可以查看授權Proxy-Authorization 和 Authorization的相關信息。Cookies標簽可以看到請求的cookie和響應的set-cookie頭信息。

 

3. AutoResponder

Fiddler比較重要且比較強大的功能之一。可用於攔截某一請求,並重定向到本地的資源,或者使用Fiddler的內置響應。可用於調試服務器端代碼而無需修改服務器端的代碼和配置,因為攔截和重定向后,實際上訪問的是本地的文件或者得到的是Fiddler的內置響應。當勾選allow autoresponser 並設置相應的規則后(本例中的規則是將http://blog.csdn.net/ohmygirl的請求攔截到本地的文件layout.html),如下圖所示

 

然后在瀏覽器中訪問http://blog.csdn.net/ohmygirl,得到的結果實際為:

 

這剛好是本地layout.html的內容,說明請求已經成功被攔截到本地.當然也可以使用Fiddler的內置響應。下圖是Fiddler支持的攔截重定向的方式:

因此,如果要調試服務器的某個腳本文件,可以將該腳本攔截到本地,在本地修改完腳本之后,再修改服務器端的內容,這可以保證,盡量在真實的環境下去調試,從而最大限度的減少bug發生的可能性。

不僅是單個url,Fiddler支持多種url匹配的方式:

I. 字符匹配

如 example可以匹配 http://www.example.com和http://example.com.cn

II. 完全匹配

以EXACT開頭表示完全匹配,如上邊的例子

EXACT:http://blog.csdn.net/ohmygirl

III. 正則表達式匹配

以regex: 開頭,使用正則表達式來匹配URL

如:regex:(?insx).*\.(css|js|PHP)$  表示匹配所有以css,js,php結尾的請求url

4. Composer。

老版本的fiddler中叫request-builder.顧名思義,可以構建相應的請求,有兩種常用的方式構建請求:

(1)Parsed 輸入請求的url之后executed即可,也可以修改相應的頭信息(如添加常用的accept, host, referrer, cookie,cache-control等頭部)后execute.

這個功能的常見應用是:“刷票”(不是火車票!!),如刷新頁面的訪問量(基於道德和安全原因,如果你真去刷票,刷訪問量,本博客概不負責)

(2)Raw。使用HTTP頭部信息構建http請求。與上類似。不多敘述

5. Filter

Fiddler另一個比較強大的功能。Fiddler提供了多維度的過濾規則,足以滿足日常開發調試的需求。如下圖示:

過濾規則有:

a. host和zone過濾。可以過濾只顯示intranet或則internet的HTTP請求

也可以選擇特定域名的HTTP請求

 

b. client process:可以捕獲指定進程的請求。

這對於調試單個應用的請求很有幫助。

其他更多的設置可以參考fiddler的官方文檔。

 

一. Fiddler內置命令。

 

上一節(使用Fiddler進行抓包分析)中,介紹到,在web session(與我們通常所說的session不是同一個概念,這里的每條HTTP請求都成為一個session)界面中可以看到Fiddler抓取的所有HTTP請求.而為了更加方便的管理所有的session, Fiddler提供了一系列內置的函數用於篩選和操作這些session(習慣命令行操作linux的童鞋應該可以感受到這會有多么方便).輸入命令的位置在web session管理面板的下方(通過快捷鍵alt+q可以focus到命令行).

Fiddler內置的命令有如下幾種:

1. select命令。

選擇所有相應類型(指content-type)為指定類型的HTTP請求,如選擇圖片,使用命令select image.而select css則可以選擇所有相應類型為css的請求,select html則選擇所有響應為HTML的請求(怎么樣,是不是跟SQL語句很像?)。如圖是執行select image之后的結果:

2. allbut命令。

allbut命令用於選擇所有響應類型不是給定類型的HTTP請求。如allbut image用於選擇所有相應類型不是圖片的session(HTTP請求),該命令還有一個別名keeponly.需要注意的是,keeponly和allbut命令是將不是該類型的session刪除,留下的都是該類型的響應。因此,如果你執行allbut xxxx(不存在的類型),實際上類似與執行cls命令(刪除所有的session, ctrl+x快捷鍵也是這個作用)

3. ?text命令

選擇所有 URL 匹配問號后的字符的全部 session

4. >size 和 <size命令

選擇響應大小大於某個大小(單位是b)或者小於某個大小的所有HTTP請求

5. =status命令

選擇響應狀態等於給定狀態的所有HTTP請求。

例如,選擇所有狀態為200的HTTP請求:=200

6. @host命令

選擇包含指定 HOST 的全部 HTTP請求。例如:@csdn.net

選擇所有host包含csdn.net的請求

7. Bpafter, Bps, bpv, bpm, bpu

這幾個命令主要用於批量設置斷點

Bpafter xxx: 中斷 URL 包含指定字符的全部 session 響應

Bps xxx: 中斷 HTTP 響應狀態為指定字符的全部 session 響應。

Bpv xxx: 中斷指定請求方式的全部 session 響應

Bpm xxx: 中斷指定請求方式的全部 session 響應。等同於bpv xxx

Bpu xxx:與bpafter類似。

當這些命令沒有加參數時,會清空所有設置了斷點的HTTP請求。

 更多的其他命令可以參考Fiddler官網手冊。

 

二. 使用Fiddler進行HTTP斷點調試。

這是Fiddler又一強大和實用的工具之一。通過設置斷點,Fiddler可以做到:

1. 修改HTTP請求頭信息。例如修改請求頭的UA, Cookie, Referer 信息,通過“偽造”相應信息達到達到相應的目的(調試,模擬用戶真實請求等)。

2. 構造請求數據,突破表單的限制,隨意提交數據。避免頁面js和表單限制影響相關調試。

3. 攔截響應數據,修改響應實體。

為什么以上方法是重要的?假設js前端程序員和服務器程序員是分工合作的,js程序員想要調試Ajax請求的功能,這樣便不必等待服務器端程序員開發好所有接口之后再開始開發js端的ajax請求功能,因為通過“模擬”真實的服務器端的響應,便可以保證功能的正確性,而服務器端開發程序員,只要保證最終的響應是符合規定的即可。這大大簡化了程序開發的效率,當然也降低了不同業務線程序員聯調的難度。

有兩種方法設置斷點:

1.fiddler菜單欄->rules->automatic Breakpoints->選擇斷點方式,這種方式下設定的斷點會對之后的所有HTTP請求有效。

有兩個斷點位置:

a. before response。也就是發送請求之后,但是Fiddler代理中轉之前,這時可以修改請求的數據。

b.after response。也就是服務器響應之后,但是在Fiddler將響應中轉給客戶端之前。這時可以修改響應的結果。

2.命令行下輸入。Bpafter xxx或者bpv,bpu,bpm等設置斷點。這種斷點只針對特定類型的請求。

我們以本地的web項目為例,演示如何簡單的設置HTTP斷點:

1.首先設置Firefox的代理,使之可以抓取所有的HTTP請求(localhost的請求,也可以在filter中設置只抓取intranet請求),設置如下圖所示:

 

2. 這時用web打開本地的項目。頁面的內容為:

 

4. 設置響應后斷點(after response breakpoint),可以通過命令行設置:bpafter localhost。鍵入回車之后,web再次訪問文件,通過Fiddler的web session界面可以看到,請求已經被掛起來了,而web瀏覽器也一直處於加載的狀態。觀察右側的inspector面板下,也出現了新的東西:

 

這時我們就可以修改響應的信息了。修改過程為:

切換到textView子面板,選擇需要修改的部分,然后點擊 “run to complete“,便可回送修改后的響應。假設我們修改后的內容如下:

 

點擊執行后,打開剛剛的web界面。可以看到的頁面的變化。

 

可見,頁面的響應已經有了相應的變化。這就是響應后斷點。當然實際應用中,斷點的設置和響應的修改會比這復雜的多,這里只是基本的示例。

終止斷點的方式有:

1. 在inspector界面點擊“run complete“即會終止本次HTTP請求的斷點。

2. 輸入go命令,也會使得當前的請求跳過斷點。

3. 在rules->auto breakpoint中disabled斷點即可。

總之,Fiddler的斷點功能非常強大,關於它的進一步學習和應用,需要一個不斷積累和摸索的過程。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM