如何實現在scrapy調試爬蟲


# -*- coding:utf-8 -*-

from scrapy.cmdline import execute
import sys
import os
'''
在爬蟲文件夾下面自定義一個main.py的文件 __file__指的是當前main.py文件 os.path.abspath(__file__)獲取當前main.py文件所在路徑 os.path.dirname(os.path.abspath(__file__))獲取的是當前文件夾的父目錄的路徑,也就是爬蟲文件的目錄
execute里面的參數是要調試的爬蟲
執行main.py就可以在PyCharm中調試程序了
'''
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy', 'crawl', 'mySpiderName'])
 
        

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM