如何在vscode中調試python scrapy爬蟲

本文環境為 Win10 64bit+VS Code+Python3.6，步驟簡單羅列下，此方法可以不用單獨建一個Py入口來調用命令行

1. 安裝Python，從官網下載，過程略，這里主要注意將python目錄加入環境變量 Path中 "D:\Python36\" "D:\Python36\Scripts"
2. 安裝Vs code,過程略， 在vscode擴展中安裝Python插件
3. 建立你的Scrapy爬蟲項目或者拷貝過來 用VSC打開，如果應用了chromedriver/ phantomjs一定要拷貝.exe到Python36目錄或單獨加環境變量
4. 將根目錄添加到工作區
5. 開始准備調試，在debug這里選擇添加配置，選擇python中的scrapy
6. 
7. VSC會自動帶入默認的配置如圖
8. 
9. 這里注意 args就是你的參數： crawl 關鍵字爬取保留， specs是爬蟲名字 換成你自己的，后面兩個參數可根據scrapy實際情況增減
10. 此時按F5調試， 如果報“Unknown command: crawl”錯誤，則需要在launch.json的scrapy中增加 "cwd"參數， 設置路徑為爬蟲項目名目錄，一般都在scrapy下的一級
11. 

     

12. 此時再按F5 即可調試到你在spider里的斷點了。

 

Unhandled error in Deferred

如果調試代碼出現以上錯誤，並且沒有詳細錯誤信息，可以考慮重新安裝正確的 pywin32,Twisted，也可以單步調試找出出錯地點，具體問題具體分析

 

package版本大全：https://www.lfd.uci.edu/~gohlke/pythonlibs/

參考：http://www.stevetrefethen.com/blog/debugging-a-python-scrapy-project-in-vscode