业务需求
-抓取美团民宿房源的房态与价格
接口
PC网页/手机H5/PC微信小程序的接口;
主要的问题:
1.关于假数据:
美团民宿是通过网页间不断转发cookie的xscrf-token进行校验的,房态接口校验失败易出现假数据,解决方案是用flidder抓包后,再用requests完整模拟页面加载流程;
2.关于滑块:
美团各个平台都易出滑块,问题就出在url后的token参数上,token参数的是也是js加密生成的,最终解决办法就是,一步一步单步调试,其本质也就是 PC的信息+时间戳+url信息+请求体 混合成的一段字符串经过位运算后再zlib压缩再base64加密再url编码而成;
3.关于字体加密:
对于字体加密,在民宿平台基本就是价格等数字的加密,本质是其自定义了一套前端的样式,获取价格数据后再加载woff文件把字体显示在界面上;解决方案,要么换接口(小程序/APP),要么FontCreator解析woff字体文件,获取指定字体的xml格式的特征值。但美团民宿最近改版了有个bug,字体加密居然取消了。