scrapy主動觸發關閉爬蟲

本文轉載自查看原文 2018-10-09 09:28 1405

在spider中時在方法里直接寫

self.crawler.engine.close_spider(self, 'cookie失效關閉爬蟲')

在pipeline和downloaderMiddlewares里

spider.crawler.engine.close_spider(spider, '沒有新數據關閉爬蟲')

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 scrapy 主動停止爬蟲 js jq 主動觸發事件如何實現JS主動觸發事件 Scrapy爬蟲(九)：scrapy的調試技巧 python爬蟲scrapy之scrapy終端(Scrapy shell) 爬蟲(十八)：Scrapy框架(五) Scrapy通用爬蟲 Netty-主動關閉Server 爬蟲學習之基於Scrapy的網絡爬蟲 scrapy爬蟲框架介紹 python爬蟲之Scrapy框架