基於某些原因你需要嗅探HTTP Web流量(即HTTP請求和響應)。例如,你可能會測試Web服務器的性能,或者x奧uy調試Web應用程序或RESTful服務 ,又或者試圖解決PAC(代理自動配置)問題,或檢查從網站上下載的任何惡意文件。甭管是什么原因,對於系統管理員,開發人員,甚至是最終用戶,嗅探HTTP流量是非常有幫助的。
數據包嗅探工具如tcpdump是普遍用於實時數據包轉儲,需要設定一些過濾規則,只捕獲HTTP流量,即便如此,它的輸出內容很難理解,需要一定的協議基礎知識。實時的Web服務器日志分析工具如ngxtop提供了可讀的實時網絡流量的痕跡,但僅適用於具有完全訪問過的Web服務器的日志。
有沒有一款功能強大且又只針對HTTP流量的工具呢?那就是httpry,HTTP數據包嗅探工具。捕獲HTTP數據包,並顯示可讀格式的HTTP協議層面的內容。
安裝httpry
在基於debian系統如Ubuntu,httpry沒有包含在基礎倉庫中。
1
2
3
4
5
|
$ sudo apt-get install gcc make git libpcap0.8-dev
$ git clone https://github.com/jbittel/httpry.git
$ cd httpry
$ make
$ sudo make install
|
Fedora、centos、RHEL系統需要安裝EPEL源
1
|
$ sudo yum install httpry
|
也可以源碼編譯
1
2
3
4
5
|
$ sudo yum install gcc make git libpcap-devel
$ git clone https://github.com/jbittel/httpry.git
$ cd httpry
$ make
$ sudo make install
|
httpry基本用法
1
|
$ sudo httpry -i <network-interface>
|
httpry監聽在指定的網卡下,實時捕獲並顯示HTTP請求與響應的包
在大多數情況下,輸出滾動非常快的,需要保存捕獲的HTTP數據包進行離線分析。可以使用-b或-o選項。“-b”選項將原始的HTTP數據包保存到一個二進制文件,然后可以用httpry進行重播。 “-o”選項保存可讀的輸出到文本文件。
保存到二進制文件中:
1
|
$ sudo httpry -i eth0 -b output.dump
|
重放:
1
|
$ httpry -r output.dump
|
保存到文本文件:
1
|
$ sudo httpry -i eth0 -o output.txt
|
httpry高級用法
如果你要捕獲特定的HTTP方法,如GET、POST、PUT、HEAD、CONNECT等等,可以使用‘-m'選項:
1
|
$ sudo httpry -i eth0 -m get,head
|
如果你下載httpry源碼,在源碼目錄下,有一個perl腳本來幫助我們分析httpry輸出。該腳本在httpry/scripts/plugins目錄下。 如果你想編寫一個httpry輸出的定制解析器,這些腳本是個很好的例子。功能有:
- hostname : 顯示一些列唯一主機名
- find_proxies:檢測web代理
- search_terms:查找並計算在搜索服務中輸入搜索詞
- content_analysis:查找包含特定關鍵字的URI
- xml_output:以xml格式輸出
- log_summary:生成日志摘要
- db_dump:將日志轉存到mysql數據庫中
在使用這些腳本前,先使用’-o'選項運行一段時間。一旦得到輸出,運行這些腳本分析:
1
2
|
$ cd httpry/scripts
$ perl parse_log.pl -d ./plugins <httpry-output-file>
|
parse_log.pl執行完后,會在httpry/scripts目錄下生成一些分析結果文件(*.txt/xml)。例如,log_summary.txt看起來像下面這樣: