python--Charles—APP爬取


  • 前面介紹了爬取web 網頁的內容,隨着移動互聯網的發展,越來越多的企業直接開發了APP,更多更全的信息都是通過App來展示的。
  • APP的爬取相比web 端爬取更容易一些,反爬蟲能力沒有那么強,而且數據大多數是以JSON 形式傳輸的,解析更加簡單。
  • 在web端,我們是通過瀏覽器的開發者工具監聽各個網絡請求和響應過程,在APP 端如果查看相關內容需要借助抓包軟件
  • 常用的抓包軟件有:WireShark 、Filddler 、 Charles  、 mitmproxy 、 AnyProxy等,他們的基本原理是相同的。

1. Charles的使用

1.1 下載

Charles是目前最強大的http調試工具,在界面和功能上遠勝於Fiddler,同時是全平台支持。是收費軟件,可以試用15分鍾.

官網下載:https://www.charlesproxy.com/download

 

1.2 破解

 

Charles 在線破解工具:https://www.zzzmode.com/mytools/charles/

 

根據下載的charles版本生成相應的破解文件,mac、windows破解方法一樣:將生成的破解文件charles.jar替換本地charles.jar文件。

 

mac:Charles.app/Contents/Java/charles.jar

 

windows:Charles\lib\charles.jar

 

1.3 安裝

當你走在看似平坦的大道上的時候,總有那么幾個坑等着你,在winodw10系統下=msi等msi格式安裝文件錯誤提示2503、2502,

 

 網上搜了一下,看來遇到的人不少啊,於是乎跟着踩過坑的大佬們學習了一下經驗:

https://blog.csdn.net/sinat_30603081/article/details/77929305

 

經過一晚上的折騰還是沒搞定,於是又下載了一個Charles安裝包:

https://www.anxz.com/down/20457.html

 

 

按照 https://blog.csdn.net/sinat_30603081/article/details/77929305 試了一下居然成功了。哈哈哈哈哈哈哈哈

 

1.4 配置(windows和安卓)

Charles 是通過將自己設置成代理服務器來完成封包截取的,所以使用 Charles 的第一步是將其設置成系統的代理服務器。

  • pc端:

1)打開Charles ,proxy——勾選windows Proxy,時已經可以監聽PC端的一切網絡連接及流量監控:

 2)這里我們打開google瀏覽器,后會看到左側欄中有PC訪問的網址和端口:

 

 3)win10左下角調出小娜,輸入“代理”    然后打開,此時只要運行charles,代理就會自動打開,代理端口默認為8888,可以自行修改。

 

 4)win+R運行cmd后輸入ipconfig查看自己PC的ip地址;

5)Charles證書安裝

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 安卓手機端:

1)首先PC端和手機端必須連接同一個wifi下,手機打開WIFI頁面后,正常情況下,代理那一項為無,此時要修改為手動,輸入主機名稱即為你自己電腦的IP:192.168.110.xx,端口號為8888。與電腦端一致,IP設置選項不修改,依然為默認的DHCP。確認/保存后,電腦端會彈出讓你允許的界面

 

 

 

 此時點擊allow即可.

2)為手機安裝ssl的證書

直接在手機瀏覽器中輸入chls.pro/ssl此時會得到一個getssl.crt文件,安裝即可。

 

這樣就配置好了。

 

1.5 APP爬取

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM