cookiejar

referer:https://www.cnblogs.com/why957/p/9297779.html文章介紹了四種模擬登陸方法

yield Request()可以將一個新的請求返回給爬蟲執行

在發送請求時cookie的操作， meta={'cookiejar':1}表示開啟cookie記錄，首次請求時寫在Request()里 meta={'cookiejar':response.meta['cookiejar']}表示使用上一次response的cookie，寫在FormRequest.from_response()里post授權 meta={'cookiejar':True}表示使用授權后的cookie訪問需要登錄查看的頁面

def start_requests(self):
        yield scrapy.Request(url="http://www.renren.com/", meta={'cookiejar': 1}, callback=self.post_login)

def post_login(self, response):
        yield scrapy.FormRequest.from_response(response,
                                               url="http://www.renren.com/PLogin.do",
                                               meta={'cookiejar': response.meta['cookiejar']},
                                               # 在之前需要打開 meta = {'cookiejar' : 1}
                                               headers=self.headers,
                                               formdata={
                                                   "email": " ",
                                                   "password": " "
                                               },
                                               dont_filter=True,

                                               callback=self.after_login)