scrapy 在pycharm中調試 不用到命令行中啟動爬蟲方法


(目錄結構如上圖)

在主目錄中加入main.py,在其中加入代碼,運行此文件就可以運行整個爬蟲:

# -*- coding: utf-8 -*-
__author__='pasaulis'
#在程序中運行命令行,方法調試,如:在jobbole.py中打個斷點,運行就會停在那

from scrapy.cmdline import execute
import sys
import os

#獲取到當前目錄:E:\a\scrapy_test\Aticle,方便后面cmd命令運行不必去找目錄
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
#測試目錄獲取是否正確
# print(os.path.dirname(os.path.abspath(__file__)))

#調用命令運行爬蟲
execute(["scrapy","crawl","jobbole"])

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM