scrapy 為每個pipeline配置spider


在settings.py里面配置pipeline,這里的配置的pipeline會作用於所有的spider,我們可以為每一個spider配置不同的pipeline,

設置 Spider 的 custom_settings對象屬性

class UserInfoSpider(CrawlSpider): # 自定義配置 custom_settings = { 'ITEM_PIPELINES': { 'tutorial.pipelines.TestPipeline.TestPipeline': 1, } }

新版本的這個屬性讓每個spider都有一個專門的pipeline處理數據了,當同時運行多個spider的時候會非常有用,老版本的時候還要進行判斷


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM