scrapy 为每个pipeline配置spider


在settings.py里面配置pipeline,这里的配置的pipeline会作用于所有的spider,我们可以为每一个spider配置不同的pipeline,

设置 Spider 的 custom_settings对象属性

class UserInfoSpider(CrawlSpider): # 自定义配置 custom_settings = { 'ITEM_PIPELINES': { 'tutorial.pipelines.TestPipeline.TestPipeline': 1, } }

新版本的这个属性让每个spider都有一个专门的pipeline处理数据了,当同时运行多个spider的时候会非常有用,老版本的时候还要进行判断


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM