Python3,x：如何進行手機APP的數據爬取

一、簡介

　　平時我們的爬蟲多是針對網頁的，但是隨着手機端APP應用數量的增多，相應的爬取需求也就越來越多，因此手機端APP的數據爬取對於一名爬蟲工程師來說是一項必備的技能。我們知道，網頁爬取的時候我經常使用F12開發者工具或者fiddler之類的工具來幫助我們分析瀏覽器行為。那對於手機的APP該如何使用呢？同樣的，我們也可以使用fiddler來分析。好了，本篇博主將會給大家介紹如何在電腦端使用fiddler進行手機APP的抓包。

首先了解一下fiddler：Fiddler是一個http協議調試代理工具，它能夠記錄並檢查所有你的電腦和互聯網之間的http通訊，設置斷點，查看所有的“進出”Fiddler的數據（指cookie,html,js,css等文件，這些都可以讓你胡亂修改的意思）。 Fiddler 要比其他的網絡調試器要更加簡單，因為它不僅僅暴露http通訊還提供了一個用戶友好的格式。

二、步驟

1. 下載fiddler抓包工具

　　fiddler的官方下載鏈接：https://www.telerik.com/download/fiddler 
安裝步驟沒什么特別，常規下一步完成即可。

2. 設置fiddler

（1）設置允許抓取HTTPS信息包

　　操作很簡單，打開下載好的fiddler，找到 Tools -> Options，然后在HTTPS的工具欄下勾選Decrpt HTTPS traffic，在新彈出的選項欄下勾選Ignore server certificate errors。這樣，fiddler就會抓取到HTTPS的信息包，否則會一直顯示tunnel。

　　

（2）設置允許外部設備發送HTTP/HTTPS到fiddler

　　相同的，在Connections選項欄下勾選Allow remote computers to connect，並記住上面的端口號8888，端口號后面會使用到。

　　

3. 設置手機端

　　設置手機端之前，我們需要記住一點：電腦和手機需要在同一個網絡下進行操作。可以使用wifi或者手機熱點等來完成。

　　假如你已經讓電腦和手機處於同一個網絡下了，這時候我們需要知道此網絡的ip地址，可以在命令行輸入ipconfig簡單的獲得，如圖。

　　　　

　　下面我們開始手機端的設置。

　　手機APP的抓取操作對於Android和Apple系統都可用，博主使用的蘋果系統，在此以蘋果系統為例。

　　首先進入到手機wifi的設置界面，選擇當前連接網絡的更多信息，在蘋果中是一個嘆號。點擊進入后你會在最下面看到HTTP代理的選項，選擇點擊進入，選擇 手動。

　　

　　進入后，填寫上面記住的ip地址和端口號，確定保存。

　　

4. 下載fiddler安全證書

　　手機端設置完成后，我們還需要下載fiddler安全證書，可以在在手機上打開瀏覽器輸入一個上面ip地址和端口號組成的url：http://192.168.43.38:8888。打開后你會看到如下的界面，然后點擊FiddlerRoot certificate下載fiddler證書。

　　　　

　　以上就簡單完成了所有的操作，最后我們測試一下是否好用。

5. 手機端測試

　　就以知乎APP為例，在手機上打開 知乎APP。下面是電腦上fiddler的抓包結果。

　　

　　結果沒有問題，抓到信息包。然后就可以使用我們分析網頁的方法來進行后續的操作了。