Scrapy 為每一個Spider設置自己的Pipeline

settings中的ITEM_PIPELINES

通常我們需要把數據存在數據庫中，一般通過scrapy的pipelines管道機制來實現。做法是，先在pipelines.py模塊中編寫Pipeline類，然后在project的settings.py中設置ITEM_PIPELINES，如：

ITEM_PIPELINES = {
    'scrapyproj.pipelines.ScrapyprojPipeline': 300,
}

Spider類屬性custom_settings

上述這種做法不能單獨地為某個Spider設置指定的Pipeline。那么，如何為每一個Spider設置自己的Pipeline呢？

我們需要利用Spider類屬性custom_settings來實現，仿照如下配置即可：

custom_settings = {
    'ITEM_PIPELINES': {'scrapyproj.pipelines.ScrapyprojPipeline': 300, }
}

 

　　至此。轉載請注明出處。