Python-Scrapy shell 帶頭部headers請求

本文轉載自查看原文 2020-04-03 16:38 598

scrapy shell -s USER_AGENT="" request_url 就可以完成帶頭部的請求添加，如請求簡書（不帶頭部請求時403錯誤）

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" https://www.jianshu.com/recommendations/users?page=1

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 python-scrapy爬取某招聘網站信息(一) Python-Scrapy抓取百度數據並分析 Python-Scrapy創建第一個項目 Scrapy selenium 設置頭部信息headers-------UA 使用scrapy shell時設置cookies和headers python爬蟲scrapy之scrapy終端(Scrapy shell) python-scrapy爬蟲框架爬取拉勾網招聘信息 python headers請求頭快速添加 Python:HTTP請求頭headers信息的查詢 scrapy添加headers