scrapy主动触发关闭爬虫

本文转载自查看原文 2018-10-09 09:28 1405

在spider中时在方法里直接写

self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫')

在pipeline和downloaderMiddlewares里

spider.crawler.engine.close_spider(spider, '没有新数据关闭爬虫')

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 scrapy 主动停止爬虫 js jq 主动触发事件如何实现JS主动触发事件 Scrapy爬虫(九)：scrapy的调试技巧 python爬虫scrapy之scrapy终端(Scrapy shell) 爬虫(十八)：Scrapy框架(五) Scrapy通用爬虫 Netty-主动关闭Server 爬虫学习之基于Scrapy的网络爬虫 scrapy爬虫框架介绍 python爬虫之Scrapy框架