爬取某个网站,可以通过修改下拉框来实现数据批量加载
上图我们可以看到 view 下面的下拉框 的值是25 ,50 ,100 ,200。我们把200的值修改为5200,然后提交页面
然后直接出来所有的数据,不在需要做翻页:
爽不爽啊,请求的时候注意把cookie复制到请求头里面,有些网站是通过cookie控制翻页的
爬取某个网站,可以通过修改下拉框来实现数据批量加载
上图我们可以看到 view 下面的下拉框 的值是25 ,50 ,100 ,200。我们把200的值修改为5200,然后提交页面
然后直接出来所有的数据,不在需要做翻页:
爽不爽啊,请求的时候注意把cookie复制到请求头里面,有些网站是通过cookie控制翻页的
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。