使用requests的時候
next_url=req.headers.get("Location")
cookie= req.headers.get("Set-Cookie")
成功拿到location和set-cookie
然而。。。。
使用scrapy
可以成功獲取loction
next_url = response.headers.get("Location")
但是在獲取set-cookie的時候
response.headers.get("Set-Cookie")
首先上面的代碼不會出錯,並且取出來的確實是string,但是你會發現它只能取出一部分的cookie,這個時候我們就要用的另外的方法了
cookie_list=response.headers.getlist("Set-Cookie")
然后拼接一下就可以了
headers["Cookie"] = ";".join(cookie)
真坑。。。。。