前言
- 隨着移動市場的火熱，各大平台都陸陸續續的推出了自己的移動端APP來拉攏吸引和便捷其廣大的用戶。那么在移動端的平台當時勢必會出現大量有價值的信息和數據，那這些數據我們是否可以去享用一下呢？那么接下來就進入我們的移動端APP數據的爬蟲中來吧。
移動端數據爬取方式
- fiddler簡介
- 手機APP抓包設置
- fiddler設置
- 安裝證書下載
- 安全證書安裝
- 局域網設置
- fiddler手機抓包測試
1 什么是Fiddler?
Fiddler是位於客戶端和服務器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和服務器之間的所有 HTTP請求，可以針對特定的HTTP請求，分析請求數據、設置斷點、調試web應用、修改請求的數據，甚至可以修改服務器返回的數據，功能非常強大，是web調試的利器。
既然是代理，也就是說：客戶端的所有請求都要先經過Fiddler，然后轉發到相應的服務器，反之，服務器端的所有響應，也都會先經過Fiddler然后發送到客戶端，基於這個原因，Fiddler支持所有可以設置http代理為127.0.0.1:8888的瀏覽器和應用程序。使用了Fiddler之后，web客戶端和服務器的請求如下所示：
利用可以設置代理的這個特點，我們就可以對手機APP進行抓包了。怎么設置？不急不急，讓我先把Fiddler安裝上吧！
Fiddler下載地址：https://www.telerik.com/fiddler
傻瓜式安裝，一鍵到底。Fiddler軟件界面如圖所示：
2 手機APP抓包設置
a. Fiddler設置
打開Fiddler軟件，打開工具的設置。(Fiddler軟件菜單欄：Tools->Options)
在HTTPS中設置如下：
在Connections中設置如下，這里使用默認8888端口，當然也可以自己更改，但是注意不要與已經使用的端口沖突：
Allow remote computers to connect:允許別的機器把請求發送到fiddler上來
b. 安全證書下載
在電腦瀏覽器中輸入地址：http://localhost:8888/，點擊FiddlerRoot certificate，下載安全證書：
c. 安全證書安裝
證書是需要在手機上進行安裝的，這樣在電腦Fiddler軟件抓包的時候，手機使用電腦的網卡上網才不會報錯。
Android手機安裝：把證書放入手機的內置或外置存儲卡上，然后通過手機的"系統安全-》從存儲設備安裝"菜單安裝證書。
然后找到拷貝的FiddlerRoot.cer進行安裝即可。安裝好之后，可以在信任的憑證中找到我們已經安裝好的安全證書。
蘋果手機安裝：
- 保證手機網絡和fiddler所在機器網絡是同一個網段下的
- 在safari中訪問http://fiddle機器ip：fiddler端口，進行證書下載。然后進行安裝證書操作。
- 在手機中的設置-》通用-》關於本機-》證書信任設置-》開啟fiddler證書信任
d. 局域網設置
想要使用Fiddler進行手機抓包，首先要確保手機和電腦的網絡在一個內網中，可以使用讓電腦和手機都連接同一個路由器。當然，也可以讓電腦開放WIFI熱點，手機連入。這里，我使用的方法是，讓手機和電腦同時連入一個路由器中。最后，讓手機使用電腦的代理IP進行上網。
在手機上，點擊連接的WIFI進行網絡修改，添加代理。進行手動設置，ip和端口號都是fiddler機器的ip和fiddler上設置的端口號。
e. Fiddler手機抓包測試
上述步驟都設置完成之后，用手機瀏覽器打開百度首頁，我們就可以順利抓包了