scrapy基礎知識之 使用FormRequest.from_response()方法模擬用戶登錄：

通常網站通過 實現對某些表單字段（如數據或是登錄界面中的認證令牌等）的預填充

使用Scrapy抓取網頁時，如果想要預填充或重寫像用戶名、用戶密碼這些表單字段， 可以使用 FormRequest.from_response() 方法實現。

下面是使用這種方法的爬蟲例子:

import scrapy class LoginSpider(scrapy.Spider): name = 'example.com' start_urls = ['http://www.example.com/users/login.php'] def parse(self, response): return scrapy.FormRequest.from_response( response, formdata={'username': 'john', 'password': 'secret'}, callback=self.after_login ) def after_login(self, response): # check login succeed before going on if "authentication failed" in response.body: self.log("Login failed", level=log.ERROR) return