如何實現多個爬蟲循環順序爬取


首先設置一個循環,接着為每一個爬蟲設置一個定時器,讓每一個爬蟲爬蟲一段時間,再運行下一個爬蟲即可。具體代碼如下,此處設置每一個爬蟲運行3600秒

import os

while True:
    os.system("scrapy crawl xinhuanet -s CLOSESPIDER_TIMEOUT=3600")  # 新華網
    os.system("scrapy crawl money163 -s CLOSESPIDER_TIMEOUT=3600")  # 網易財經
    os.system("scrapy crawl ccstock -s CLOSESPIDER_TIMEOUT=3600")  # 證券日報
    os.system("scrapy crawl cs -s CLOSESPIDER_TIMEOUT=3600")  # 中證網
    os.system("scrapy crawl p5w -s CLOSESPIDER_TIMEOUT=3600")  # 全景網
    os.system("scrapy crawl ztcj -s CLOSESPIDER_TIMEOUT=3600")  # 智通財經
    os.system("scrapy crawl huanqiu_finance -s CLOSESPIDER_TIMEOUT=3600")  # 環球財經

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM