聲明
本文章中所有內容僅供學習交流，抓包內容、敏感網址、數據接口均已做脫敏處理，嚴禁用於商業用途和非法用途，否則由此產生的一切后果均與作者無關，若有侵權，請聯系我立即刪除！
逆向目標
- 目標：某政務服務網 —> 政民互動 —> 我要咨詢
- 主頁：aHR0cDovL3p3Zncuc2FuLWhlLmdvdi5jbi9pY2l0eS9pY2l0eS9ndWVzdGJvb2svaW50ZXJhY3Q=
- 接口：aHR0cDovL3p3Zncuc2FuLWhlLmdvdi5jbi9pY2l0eS9hcGktdjIvYXBwLmljaXR5Lmd1ZXN0Ym9vay5Xcml0ZUNtZC9nZXRMaXN0
- 逆向參數：
- Request Headers：
Cookie: ICITYSession=fe7c34e21abd46f58555124c64713513 - Query String Parameters：
s=eb84531626075111111&t=4071_e18666_1626075203000 - Request Payload：
{"start":0,"limit":7,"TYPE@=":"2","OPEN@=":"1"}
- Request Headers：
逆向過程
繞過無限 debugger
我們嘗試抓包，打開開發者工具，刷新一下頁面，會發現此時頁面被斷到 debugger 的位置，點擊下一步，又會被斷到另一個 debugger 的位置，這種情況就是無限 debugger，無限 debugger 存在的意義就是防止一部分人進行調試，但事實上繞過無限 debugger 的方法非常簡單，方法也非常多，以下介紹常用的幾種繞過方法。
1.Never pause here
在 debugger 位置，點擊行號，右鍵 Never pause here，永遠不在此處斷下即可：
2. Add conditional breakpoint
同樣右鍵選擇 Add conditional breakpoint，輸入 false 即可跳過無限 debugger，其原理是添加條件斷點，不管前面代碼的邏輯是什么，運行到 debugger 的時候必定是 true 才能執行，只需要將其改為 false，那么它就不執行了：
3.中間人攔截替換無限 debug 函數
所謂中間人攔截替換，就是狸貓換太子，將原來的含有無限 debugger 的函數給替換掉，這種方法適用於知道無限 debugger 函數所在的具體 JS 文件，重寫 JS 文件，使其不含有無限 debugger 的函數，利用第三方工具將原來的 JS 文件替換成重寫過后的文件，這類工具有很多，例如瀏覽器插件 ReRes，它通過指定規則，可以把請求映射到其他的 URL，也可以映射到本機的文件或者目錄，抓包軟件 Fidder 的 Auto responder 功能，也可以實現替換。
4.方法置空
直接在 Console 中將無限 debugger 的函數重寫置空也可以破解無限 debugger，缺點是刷新后失效，基本上不太常用。
抓包分析
繞過無限 debugger 后，點擊下一頁進行抓包分析，數據接口類似於：http://zwfw.xxxxxx.gov.cn/icity/api-v2/app.icity.guestbook.WriteCmd/getList?s=d455731630315957615&t=2491_d51515_1630315979000，Cookie、Query String Parameters 和 Request Payload 的參數需要我們解決。
參數逆向
首先是 Cookie，直接搜索，可以發現在首頁的請求中，Set-Cookie 里設置了 cookie 值，那么使用 get 方法請求主頁，在 response 里面直接取 Cookie 即可：
Request Payload 的參數經過觀察可以發現 start 每一頁 +7，其他參數不變
Query String Parameters 的兩個參數 s 和 t，是經過 JS 加密后得到的。
全局搜索 s 這個參數，由於 s 太多，可以嘗試搜索 var s，可以找到一個 var sig 的地方，這段函數后面有兩個比較明顯的語句：curUrl += "?s=" + sig; curUrl += "&t=" + t;，不難看出是 URL 拼接語句，s 參數就是 sig，埋下斷點，可以看到正是我們要找的參數：
將這段函數 copy 下來進行本地調試，會發現提示 LEx 未定義，直接跟進 LEx.isNotNull 這個函數，將原函數 copy 下來即可：
再次調試，會提示 __signature 參數未定義，全局搜索發現這個值在主頁的 HTML 里面可以找到，直接正則表達式提取出來即可。
完整代碼
GitHub 關注 K 哥爬蟲，持續分享爬蟲相關代碼！歡迎 star ！https://github.com/kgepachong/
以下只演示部分關鍵代碼，不能直接運行！完整代碼倉庫地址：https://github.com/kgepachong/crawler/
JS 加密代碼
isNotNull = function (obj) {
if (obj === undefined || obj === null || obj == "null" || obj === "" || obj == "undefined")
return false;
return true;
};
function getDecryptedParameters(__signature) {
var sig = "";
var chars = "0123456789abcdef";
if (!isNotNull(__signature)) {
var curTime = parseInt(Math.random() * (9999 - 1000 + 1) + 1000) + "" + Date.parse(new Date());
sig = chars.charAt(parseInt(Math.random() * (15 - 15 + 1) + 10)) + chars.charAt(curTime.length) + "" + curTime;
} else {
sig = __signature;
}
var key = "";
var keyIndex = -1;
for (var i = 0; i < 6; i++) {
var c = sig.charAt(keyIndex + 1);
key += c;
keyIndex = chars.indexOf(c);
if (keyIndex < 0 || keyIndex >= sig.length) {
keyIndex = i;
}
}
var timestamp = parseInt(Math.random() * (9999 - 1000 + 1) + 1000) + "_" + key + "_" + Date.parse(new Date());
var t = timestamp;
//LEx.azdg.encrypt(timestamp,key);
t = t.replace(/\+/g, "_");
return {"s": sig, "t": t};
}
// 測試樣例
// console.log(getDecryptedParameters("c988121626057020055"))
Python 代碼
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import re
import execjs
import requests
index_url = '脫敏處理，完整代碼關注 GitHub：https://github.com/kgepachong/crawler'
data_url = '脫敏處理，完整代碼關注 GitHub：https://github.com/kgepachong/crawler'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
session = requests.session()
def get_encrypted_parameters(signature):
with open('encrypt.js', 'r', encoding='utf-8') as f:
js = f.read()
encrypted_parameters = execjs.compile(js).call('getDecryptedParameters', signature)
return encrypted_parameters
def get_signature_and_cookies():
response = session.get(url=index_url, headers=headers)
cookies = response.cookies.get_dict()
cookie = cookies['ICITYSession']
signature = re.findall(r'signature = "(.*)"', response.text)[0]
return cookie, signature
def get_data(cookie, parameters, page):
payload_data = {'start': page*7, 'limit': 7, 'TYPE@=': '2', 'OPEN@=': '1'}
params = {'s': parameters['s'], 't': parameters['t']}
cookies = {'ICITYSession': cookie}
response = session.post(url=data_url, headers=headers, json=payload_data, params=params, cookies=cookies).json()
print(payload_data, response)
def main():
ck, sig = get_signature_and_cookies()
for page in range(10):
# 采集10頁數據
param = get_encrypted_parameters(sig)
get_data(ck, param, page)
if __name__ == '__main__':
main()
