Python-Scrapy shell 带头部headers请求

本文转载自查看原文 2020-04-03 16:38 598

scrapy shell -s USER_AGENT="" request_url 就可以完成带头部的请求添加，如请求简书（不带头部请求时403错误）

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" https://www.jianshu.com/recommendations/users?page=1

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 Scrapy selenium 设置头部信息headers-------UA python-scrapy爬虫框架爬取拉勾网招聘信息 Python3 自定义请求头消息headers http请求的headers详解 HTTP 请求头部 referer Python爬虫教程-33-scrapy shell 的使用 request发送带headers和带参数的请求 Python爬虫设置Headers scrapy shell的使用 Scapy——Scrapy shell的使用