爬取WX小程序的數據

方法一：

使用TBS工具，調試跟蹤獲取URL

https://x5.tencent.com/tbs/guide/debug/download.html

https://x5.tencent.com/tbs/guide/debug/season1.html

 

方法二：

下載小程序的包，反編譯，查看代碼或者用微信開發者工具調試跟蹤

1、node.js運行環境

• 如果沒有安裝nodejs，請先安裝一下
• 下載地址：https://nodejs.org/en/

2、反編譯的腳本

• 這里提供一個Github上qwerty472123大神寫的node.js版本的，當然也有其它版本的，例如python版本，這里我只是簡單地用node.js版本舉例
• 地址：https://github.com/qwerty472123/wxappUnpacker

3、（1）通過電腦獲取小程序

• 在手機上點擊微信小程序右上角的三個點，選擇發送給朋友，選擇自己
• 在PC端微信打開小程序
• 在C:\Users\{{電腦用戶名}}\Documents\WeChat Files\Applet\{{小程序AppID}}\{{隨機產生的數字}}\__APP__.wxapkg 找到小程序源碼

     （2）通過模擬器獲取小程序（當前測試夜神模擬器小程序不會閃退，其它mumu和雷電都不行，閃退問題也不大，其實后台已經開始下載）

• 啟動模擬器（要求自帶root權限）
• 在模擬器微信中運行一下小程序后，直接切回模擬器桌面，運行RE瀏覽器 來到目錄
• 根目錄/data/data/com.tencent.mm/MicroMsg/{一串16進制字符}/appbrand/pkg/
• 把包壓縮成zip，並傳到電腦

4、安裝解包工具

• https://github.com/xuedingmiaojun/wxappUnpacker

5、反編譯

• 在node命令窗口中安裝依賴：npm install（可以用cnpm替換npm ： npm install -g cnpm --registry=https://registry.npm.taobao.org）

• npm install esprima
  npm install css-tree
  npm install cssbeautify
  npm install vm2
  npm install uglify-es
  npm install js-beautify
  npm install escodegen
  npm install cheerio
  

   

• 安裝好依賴之后，就是最后一步了，反編譯 .wxapkg 文件

• 在當前目錄下輸入 
  node wuWxapkg.js [-d] <files…> //files就是你想要反編譯的文件名 
  例如：我有一個需要反編譯的文件 _163200311_32.wxapkg 已經解壓到了D盤根目錄下,那么就輸出命令 
  node .\wuWxapkg.js D:\_163200311_32.wxapkg

6、使用微信開發者工具打開並調試，需要有微信號登錄，並設置可信域名(域名一般在代碼的config.js里面)

• 開發工具下載網址：https://developers.weixin.qq.com/miniprogram/dev/devtools/download.html
• 開發工具說明：　https://developers.weixin.qq.com
• 設置可信域名：https://mp.weixin.qq.com/
  • 　　如果是測試，可以直接在https://developers.weixin.qq.com/miniprogram/dev/devtools/sandbox.html （https://developers.weixin.qq.com/weloginpage?redirect_url=%2Fsandbox） 用登錄微信開發工具的微信掃碼登錄
  • 　　如果如果刷新appid還空白，就去登錄一下微信開發社區（https://developers.weixin.qq.com/），在返回申請頁面刷新一下，appid就會顯示出來了