Python爬蟲入門教程 47-100 mitmproxy安裝與安卓模擬器的配合使用-手機APP爬蟲部分


1. 准備下載軟件

介紹一款爬蟲輔助工具mitmproxy ,mitmproxy 就是用於MITM的proxy,MITM中間人攻擊。說白了就是服務器和客戶機中間通訊多增加了一層。跟Fiddler和Charles最大的不同就是,mitmproxy可以進行二次開發,尤其可以對接python。

mitmproxy一般用於開發或者測試,用在爬蟲輔助也是極好的。

1.1 幾個重要地址

github地址:https://github.com/mitmproxy/mitmproxy
官網地址:https://mitmproxy.org/

1.2 安裝流程

進入CMD窗口,執行

pip install mitmproxy 

安裝完成后,系統將擁有 mitmproxymitmdumpmitmweb 三個命令,由於 mitmproxy 命令不支持在 windows 系統中運行。

mitmproxy是一個支持HTTP和HTTPS的抓包程序,有類似Fiddler、Charles的功能。除了命令行形式的控制台,mitmproxy還有兩個關聯組件:mitmdump和mitmweb。
	
mitmdump:它是mitmproxy的命令行接口,利用它我們可以對接Python腳本,用Python實現監聽后的處理。
	
mitmweb:它是一個Web程序,通過它我們可以清楚觀察mitmproxy捕獲的請求。

我們可以拿 mitmdump 測試一下安裝是否成功,執行:

mitmdump --version

執行結果
python爬蟲入門教程

1.3 啟動mitmweb

控制台運行

mitmweb

輸出

λ mitmweb
Web server listening at http://127.0.0.1:8081/
Proxy server listening at http://*:8080

同時打開你的默認瀏覽器
python爬蟲入門教程

1.4 配置代理

操作簡單,熟悉爬蟲的人設置起來難度不大

將代理服務器設置為 127.0.0.1:8080即可
python爬蟲入門教程
這是完畢,在隨便訪問一個網站,例如百度,一股似曾相識的感覺鋪面而來,這就是網頁版的Fiddler

python爬蟲入門教程

1.5 命令行啟動

接下來關閉所有 Chrome 窗口,否則命令行啟動時的附加參數將失效。打開 cmd,執行:

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

前面那一長串是 Chrome 的的安裝路徑,應當根據系統實際情況修改,后面兩參數設置了代理地址並強制忽略掉證書錯誤。

1.6 CA證書的安裝

當我們初次運行mitmproxy或mitmdump時,

會在當前目錄下生成 ~/.mitmproxy文件夾,其中該文件下包含4個文件,這就是我們要的證書了。

.mitmproxy文件夾自行搜索,我采用的是everything軟件,一般在電腦上的用戶目錄
python爬蟲入門教程

mitmproxy-ca.pem 私鑰
mitmproxy-ca-cert.pem 非windows平台使用
mitmproxy-ca-cert.p12 windows上使用
mitmproxy-ca-cert.cer 與mitmproxy-ca-cert.pem相同,android上使用

windows上安裝證書很簡單,雙擊.p12結尾的證書文件即可。
安卓手機需要將對應的文件發送到手機文件,進行安裝。

將mitmproxy-ca-cert.cer 放到sdcard根目錄下
選擇設置-安全和隱私-從存儲設備安裝證書

2. 使用mitmdump

在windows平台下一般使用mitmdump
控制台運行 mitmdump,出現如下結果

λ mitmdump
Proxy server listening at http://*:8080

2.1 獲取本地IP地址 ipconfig

打開模擬器,跟fiddler和Charles的配置其實是非常類似的

基本步驟

1.電腦和手機連接到同一個wifi環境下
2.修改瀏覽器代理服務器地址為運行mitmdump的那台機器(本機)ip地址,端口設定為你啟動mitmdump時設定的端口,如果沒有指定就使用8080
3.手機做同樣操作,修改wifi鏈接代理為 【手動】,然后指定ip地址和端口

在手機或pc機上打開瀏覽器訪問 mitm.it 這個地址,選擇你當前平台的圖標,點擊安裝證書。
python爬蟲入門教程
python爬蟲入門教程
所有這一切操作完畢,打開模擬器的默認瀏覽器,輸入www.baidu.com,等待數據的抓取
python爬蟲入門教程

3. mitmproxy安裝與模擬器配合操作完畢

當你看到數據抓取到的那一刻,表示本篇博客結束啦,下一篇,我們就實際的對接一下Python,感謝你的閱讀。

python爬蟲入門教程


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM