scrapy獲取headers的set-cookie的坑


使用requests的時候

    next_url=req.headers.get("Location")
    cookie= req.headers.get("Set-Cookie")

成功拿到location和set-cookie

然而。。。。

使用scrapy
可以成功獲取loction

 next_url = response.headers.get("Location")

但是在獲取set-cookie的時候

response.headers.get("Set-Cookie")

首先上面的代碼不會出錯,並且取出來的確實是string,但是你會發現它只能取出一部分的cookie,這個時候我們就要用的另外的方法了

cookie_list=response.headers.getlist("Set-Cookie")

然后拼接一下就可以了

headers["Cookie"] = ";".join(cookie)

真坑。。。。。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM