開年后，一直在弄爬蟲相關方面的工作，今天就以淘寶問大家為例，將爬蟲的整套過程記錄下來。總結經驗，查漏補缺
如何找到問大家的網頁鏈接
-
打開手機淘寶，隨意瀏覽個寶貝
-
進入寶貝詳情頁，進入問大家主頁
-
點擊分享，復制鏈接
-
在pc打開頁面 得到如下鏈接
https://h5.m.taobao.com/wendajia/question2017.html?refId=589773891059&pre_item_id=589773891059&ttid=227200%40taobao_android_8.4.0&sourceType=other&suid=c6b1cff4-e094-4993-b346-95f826b4c9fa&ut_sk=1.We7H9xzG%2BAYDACUebBfQq6dp_21646297_1555054673708.Copy.windvane&un=d75c7f4f3565358ee7c4cca5375f99dd&share_crt_v=1&sp_tk=77+lc0l6dWJBeWVjT0Tvv6U=&cpp=1&shareurl=true&spm=a313p.22.u6.1025058449048&short_name=h.eZDBSMw&sm=4ee92f&app=chrome
請求分析
通過谷歌瀏覽器開發者工具的幫助，發現數據在以下請求中
https://h5api.m.taobao.com/h5/mtop.taobao.social.feed.aggregate/1.0/?jsv=2.4.1&appKey=12574478&t=1555055055046&sign=9e6bd7ca6ecd6e303f13ad53d2fd3412&api=mtop.taobao.social.feed.aggregate&v=1.0&ecode=0&timeout=300000&timer=300000&AntiCreep=true&type=jsonp&dataType=jsonp&callback=mtopjsonp1&data=%7B%22cursor%22%3A%221%22%2C%22pageNum%22%3A%221%22%2C%22pageId%22%3A24501%2C%22env%22%3A1%2C%22bizVersion%22%3A0%2C%22params%22%3A%22%7B%5C%22refId%5C%22%3A%5C%22589773891059%5C%22%2C%5C%22namespace%5C%22%3A1%2C%5C%22pageNum%5C%22%3A1%2C%5C%22pageSize%5C%22%3A10%7D%22%7D
是個get請求，參數都放在url中
重復請求一些寶貝的問大家內容，發現參數有以下規則
- 固定參數
sv: 2.4.1
appKey: 12574478
api: mtop.taobao.social.feed.aggregate
v: 1.0
ecode: 0
timeout: 300000
timer: 300000
AntiCreep: true
type: jsonp
dataType: jsonp
callback: mtopjsonp1
data: {"cursor":"1","pageNum":"1","pageId":24501,"env":1,"bizVersion":0,"params":"{\"refId\":\"寶貝ID\",\"namespace\":1,\"pageNum\":1,\"pageSize\":10}"}
- 動態參數
t: 1555055055046
sign: 9e6bd7ca6ecd6e303f13ad53d2fd3412
其中t是時間戳
sign是動態的校驗參數，所以難點是如何找到sign的生成規則
sign生成規則
一般說來請求的參數都是js生成，按照這個思路，通過在js資源文件中全局搜索sign及打斷點的方式。果不其然，找到了相應的js代碼，到目前為止，一切還是挺順利的
從截圖中可以發現
sign是由h()函數生成的，h函數的參數是以下幾部分組成
d.token + "&" + i + "&" + g + "&" + c.data
# i 是上面固定參數中的 t,當前的時間戳
# g是上面固定參數中的 appKey
# c.data 是上面固定參數中的data
所以下一步要知道d.token是如何生成的
token的生成規則
還是使用在js資源文件中全局搜索token的方式，發現了相關的js代碼
n.prototype.__getTokenFromCookie = function() {
var a = this.options;
return a.CDR && j(y) ? a.token = j(y).split(";")[0] : a.token = a.token || j(z),
a.token && (a.token = a.token.split("_")[0]),
o.resolve()
}
通過對這段js代碼分析，發現token原來是從cookie中提取的:
_m_h5_tk=1632671ce1a89f17ac8d06525e4b5226_1555062955474
可以通過正則提出
token = re.findall(r'_m_h5_tk\=(.+?)_',cookie)[0]
至此，全部的參數都已經知道生成規則了，接下來可以編寫python代碼請求數據了。
這些就簡單了，改天有空再貼代碼上來吧，看各位需要:)
這里只提一點，可以將生成sign的h()函數的代碼單獨放在一個js文件中。
在python中可以通過
import execjs
在python中調用js代碼，即簡單又方便。