python + 爬蟲 + fiddler + 夜神模擬器 爬取app(1)


抓包

抓包是爬蟲里面經常用到的一個詞,完整的應該叫做抓取數據請求響應包 ,而Fiddler這款工具就是干這個的

普通https抓包設置

打開Fiddler ------> Options .然后打開的對話框中,選擇HTTPS tab頁,如圖所示:

說明 (配置完后記得要重啟Fiddler)

  1. 選中"Decrpt HTTPS traffic", Fiddler就可以截獲HTTPS請求
  2. Ignore server certificate errors忽略證書錯誤

第一次會提示是否信任fiddler證書及安全提醒,選擇yes,之后也可以在系統的證書管理中進行管理。

配置Fiddler允許遠程連接

切換tab選項卡到 Connections 配置端口

  1. 選中"Allow remote computers to connect". 是允許別的機器把HTTP/HTTPS請求發送到Fiddler上來

等會設置手機代理時需要。設置好后重啟fiddler保證設置生效。

到現在為止,其實Fiddler已經可以抓取你電腦上瀏覽器訪問的數據了,如果不行,重啟Fiddler和瀏覽器即可

記錄本機的IP

打開cmd窗口,不會的自行百度

在里面輸入 ipconfig 獲取你的ip4地址 ,這個地址一定要記住,后面配置模擬器的時候是需要用的~

ip 192.168.137.1

下載模擬器

你可能更多的時候是使用模擬器來打游戲,作為程序猿,模擬器上安裝APK是非常好用的。

自行下載安裝夜神模擬器,雷電模擬器或者其他的都可以

下載APK文件,直接拖拽到下面視圖,就可以直接安裝

找到設置,點擊Wlan,長按鼠標左鍵,出現如下界面

點擊修改網絡

代理模式選擇手動,輸入剛才的IP和上述提到的8888端口

使用模擬器默認瀏覽器打開 , 點"FiddlerRoot certificate" 然后安裝證書,如圖:

安裝完畢之后,打開模擬器上的瀏覽器,輸入www.baidu.com

在Fiddler中抓取到如下鏈接,代表環境配置已經完畢

溫馨提示下,在抓包過程中,你的fiddler不能關閉哦。關閉了之后你手機網絡就不能用了。

停止網絡監控的話去掉wifi的代理設置即可

設置過濾

1.手機上設置代理后,這時候fiddler上抓到的是pc和app所有的請求,如果pc上打開網址,會很多,這時候就需要開啟過濾功能了。

2.打開fiddler>Tools>Fiddler Options>HTTPS>...from remote clients only,勾選這個選項就可以了

  • ...from all processes :抓所有的請求
  • ...from browsers only :只抓瀏覽器的請求
  • ...from non-browsers only :只抓非瀏覽器的請求
  • ...from remote clients only:只抓遠程客戶端請求

Fiddler 抓包簡介

Fiddler想要抓到數據包,要確保Capture Traffic是開啟,在File –> Capture Traffic。開啟后再左下角會有顯示,當然也可以直接點擊左下角的圖標來關閉/開啟抓包功能。

需要能簡單看懂Fiddler上的內容

更詳細的使用,可以參考一篇寫的很不錯的文章 參考博客

上述橫着的紅色框

名稱

含義

 

抓取HTTP Request的順序,從1開始,以此遞增

Result

HTTP狀態碼

Protocol

請求使用的協議,如HTTP/HTTPS/FTP等

Host

請求地址的主機名

URL

請求資源的位置

Body

該請求的大小

Caching

請求的緩存過期時間或者緩存控制值

Content-Type

請求響應的類型

Process

發送此請求的進程:進程ID

Comments

允許用戶為此回話添加備注

Custom

允許用戶設置自定義值

下面豎着的紅色框

 
 
注意: fiddler安裝
  

重啟fiddler,依然停留在 HTTPS 選項卡,點擊右側Actions,能看一個下拉菜單,點擊 Export Root Certificate to Desktop,此時證書會生成到桌面上,名為 FiddlerRoot.cer,點OK保存

 

 

 

7、導入證書進行安裝

這部分android和ios有一點不同。

方法一:

1)android可以連接到電腦上,從電腦上打開手機的內存卡,直接把證書導入SD卡中。

2)點擊設置——>安全——>從SD卡安裝——>從內部存儲空間中找到證書,點擊安裝即可

 
 
 
 
 
 
 
 

方法二:

ios可以在手機瀏覽器上登錄郵箱,然后將證書發送到郵箱中,在手機上查看郵件,點擊附件進行證書的安裝即可

8、查看HTTPS

打開fiddler,Tools——>Fiddler Options…,切換到HTTPS選項卡,把選項都勾選上,點擊保存,就可以查看HTTPS接口了

 
 

 




轉載自:https://www.jianshu.com/p/b8314e835303     https://cloud.tencent.com/developer/article/1401006


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM