(工作總結-美團民宿業務)關於美團民宿爬蟲的一點總結


業務需求

  -抓取美團民宿房源的房態與價格

接口

  PC網頁/手機H5/PC微信小程序的接口;

主要的問題:

  1.關於假數據:
        美團民宿是通過網頁間不斷轉發cookie的xscrf-token進行校驗的,房態接口校驗失敗易出現假數據,解決方案是用flidder抓包后,再用requests完整模擬頁面加載流程;
  2.關於滑塊:
        美團各個平台都易出滑塊,問題就出在url后的token參數上,token參數的是也是js加密生成的,最終解決辦法就是,一步一步單步調試,其本質也就是 PC的信息+時間戳+url信息+請求體 混合成的一段字符串經過位運算后再zlib壓縮再base64加密再url編碼而成;
  3.關於字體加密:
         對於字體加密,在民宿平台基本就是價格等數字的加密,本質是其自定義了一套前端的樣式,獲取價格數據后再加載woff文件把字體顯示在界面上;解決方案,要么換接口(小程序/APP),要么FontCreator解析woff字體文件,獲取指定字體的xml格式的特征值。但美團民宿最近改版了有個bug,字體加密居然取消了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM