Python網絡爬蟲(移動端數據爬取)


一、什么是Fiddler?

  Fiddler是位於客戶端和服務器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和服務器之間的所有 HTTP請求,可以針對特定的HTTP請求,分析請求數據、設置斷點、調試web應用、修改請求的數據,甚至可以修改服務器返回的數據,功能非常強大,是web調試的利器。

  既然是代理,也就是說:客戶端的所有請求都要先經過Fiddler,然后轉發到相應的服務器,反之,服務器端的所有響應,也都會先經過Fiddler然后發送到客戶端,基於這個原因,Fiddler支持所有可以設置http代理為127.0.0.1:8888的瀏覽器和應用程序。使用了Fiddler之后,web客戶端和服務器的請求如下所示:

  利用可以設置代理的這個特點,我們就可以對手機APP進行抓包了。怎么設置?不急不急,讓我先把Fiddler安裝上吧!

  Fiddler下載地址:https://www.telerik.com/fiddler

  Fiddler軟件界面如圖所示

  

二、手機APP抓包設置

  2.1 Fiddler設置:

  打開Fiddler軟件,打開工具的設置。(Fiddler軟件菜單欄:Tools->Options)

  在HTTPS中設置如下:

  作用:配置HTTPS,使用PC客戶端或者APP移動端能夠獲取HTTPS的請求

  

   在Connections設置如下:

  在Connections中設置如下,這里使用默認8888端口,當然也可以自己更改,但是注意不要與已經使用的端口沖突:

  Allow remote computers to connect:允許別的機器把請求發送到fiddler上來

  

  2.2 安全證書下載:
  - PC端下載安全證書:

  在電腦瀏覽器中輸入地址:http://localhost:8888/,點擊FiddlerRoot certificate,下載安全證書:

  

  - 手機端下載安全證書:

  手機端與PC端處於同一網段條件下,在移動端瀏覽器中輸入地址:http://localhost:8888/,點擊FiddlerRoot certificate下載

  2.3 安卓手機安全證書安裝:
  證書是需要在手機上進行安裝的,這樣在電腦Fiddler軟件抓包的時候,手機使用電腦的網卡上網才不會報錯。

  Android手機安裝:把證書放入手機的內置或外置存儲卡上,然后通過手機的"系統安全-》從存儲設備安裝"菜單安裝證書。

  然后找到拷貝的FiddlerRoot.cer進行安裝即可。安裝好之后,可以在信任的憑證中找到我們已經安裝好的安全證書。

  

  2.4 蘋果手機安裝:

        - 保證手機網絡和fiddler所在機器網絡是同一個網段下的

        - 在safari中訪問http://fiddle機器ip:fiddler端口,進行證書下載。然后進行安裝證書操作。

        - 在手機中的設置-》通用-》關於本機-》證書信任設置-》開啟fiddler證書信任

  2.5 局域網設置:
  想要使用Fiddler進行手機抓包,首先要確保手機和電腦的網絡在一個內網中,可以使用讓電腦和手機都連接同一個路由器。當然,也可以讓電腦開放WIFI熱點,手機連入。這里,我使用的方法是,讓手機和電腦同時連入一個路由器中。最后,讓手機使用電腦的代理IP進行上網。
   在手機上,點擊連接的WIFI進行網絡修改,添加代理。進行手動設置,ip和端口號都是fiddler機器的ip和fiddler上設置的端口號。

  2.6 Fiddler手機抓包測試

  上述步驟都設置完成之后,用手機瀏覽器打開百度首頁,我們就可以順利抓包了

三、常見的抓包工具

  • Fiddler ScirptEditor
  • 青花瓷
  • wireshark

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM