Python爬取微信小程序實戰（通用）

背景介紹

最近遇到一個需求，大致就是要獲取某個小程序上的數據。心想小程序本質上就是移動端加殼的瀏覽器，所以想到用Python去獲取數據。在網上學習了一下如何實現后，記錄一下我的實現過程以及所踩過的小坑。本文關鍵詞：Python，小程序，Charles抓包

目標小程序：

公眾號“同城商圈網”左下角“找商家”->汽車維修->小車維修->所有的商家信息，如下圖所示：

環境

PC端：Windows 10

移動端：iPhone

軟件：Charles

Charles抓包

雖說網上大佬的教程很好很詳細，但我想加入幾個坑點解釋，因此又重新寫了個博客，請點此查看Charles配置教程

1. Charles清空當前獲取到的連接，防止干擾（學會使用這個黃色掃把！很有用）

   

   2. 打開微信小程序進入到指定界面，Charles中顯示如下

      

   3. 進入到某個具體商家后，最先請求的是這個

      

      於是我們猜測，這個可能就是小程序相關的http請求，點進去我們看一下

      

      此時手機的界面是這樣的

      

誒，好像就是這個！（其實我也是一個一個試了好久，多試試就會找到啦，當然如果你懂點英文，能看懂左側的英文就更好了！merchant就是商家的意思~），

但是我們想要獲取所有的商家信息怎么辦呢？那就先點擊Charles上的黃色小掃把~，再返回到商家列表看看

手機界面如下：

沒錯就是這個請求了！

4. 分析請求

   選中左邊發送的請求，右邊點擊Overview選項卡，查看請求信息，我們不難發現這是個POST請求

   

我們知道POST請求提交的是表單，那么表單數據在哪里呢？我們可以在右邊界面，鼠標右擊，點擊Copy Request就能獲取表單數據了！

復制到這里看看：

{"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0}

看到這里，我們就能猜出個大概了，pageIndex是頁碼，pageSize是每頁顯示數量，regionId是地區編號，categoryId是貨品編號，orderRule是排序規則，至此抓包結束，我們成功抓到了目標包！

本節抓包方法理論上適合所有小程序，其他的你們可以自行嘗試哦~

編寫python代碼

這里我們就簡單的寫個demo

import requests

url = "http://api.tc688.net/api/services/app/merchant/LoadCategoryMerchants"
header = {
    'Origin':'http://zazhi.tc688.net',
    'Host':'api.tc688.net',
    'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_6_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.14(0x17000e2e) NetType/WIFI Language/zh_CN',
    'Referer':'http://zazhi.tc688.net/companylist?id=148',
}
data = {"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0}
r = requests.post(url=url,data=data,headers=header)
print(r.text)

運行結果：

完整項目

有關數據處理以及更換地區的詳細代碼，請訪問我的GitHub：GitHub