在settings.py里面配置pipeline,這里的配置的pipeline會作用於所有的spider,我們可以為每一個spider配置不同的pipeline,
設置 Spider 的 custom_settings對象屬性
class UserInfoSpider(CrawlSpider): # 自定義配置 custom_settings = { 'ITEM_PIPELINES': { 'tutorial.pipelines.TestPipeline.TestPipeline': 1, } }
新版本的這個屬性讓每個spider都有一個專門的pipeline處理數據了,當同時運行多個spider的時候會非常有用,老版本的時候還要進行判斷
