首先設置一個循環,接着為每一個爬蟲設置一個定時器,讓每一個爬蟲爬蟲一段時間,再運行下一個爬蟲即可。具體代碼如下,此處設置每一個爬蟲運行3600秒
import os
while True:
os.system("scrapy crawl xinhuanet -s CLOSESPIDER_TIMEOUT=3600") # 新華網
os.system("scrapy crawl money163 -s CLOSESPIDER_TIMEOUT=3600") # 網易財經
os.system("scrapy crawl ccstock -s CLOSESPIDER_TIMEOUT=3600") # 證券日報
os.system("scrapy crawl cs -s CLOSESPIDER_TIMEOUT=3600") # 中證網
os.system("scrapy crawl p5w -s CLOSESPIDER_TIMEOUT=3600") # 全景網
os.system("scrapy crawl ztcj -s CLOSESPIDER_TIMEOUT=3600") # 智通財經
os.system("scrapy crawl huanqiu_finance -s CLOSESPIDER_TIMEOUT=3600") # 環球財經
