好比Django的Debuge 與前端進行交互時的方便,但是Scrapy 不自帶,所以我們寫一個main文件來debuge
作用:通過cmd 命令啟動爬蟲
1 #-*-coding:utf-8 -*- 2 #通過調用命令行進行調試 3 4 __author__ = "ruoniao" 5 __date__ = "2017/5/14 16:39" 6 #調用execute這個函數可調用scrapy腳本 7 from scrapy.cmdline import execute 8 9 #設置工程命令 10 import sys 11 import os 12 #設置工程路徑,在cmd 命令更改路徑而執行scrapy命令調試 13 #獲取main文件的父目錄,os.path.abspath(__file__) 為__file__文件目錄 14 15 sys.path.append(os.path.dirname(os.path.abspath(__file__))) 16 execute(["scrapy","crawl","jobbole" ])