首先在同步兩篇之前寫過的博客,可能能用得到
1、https://www.cnblogs.com/lutt/p/10893192.html
2、https://www.cnblogs.com/lutt/p/10895317.html
在上述操作的過程中,在執行命令:scrapyd-deploy時遇報錯:
/usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead.
from scrapy.utils.http import basic_auth_header
Error: no Scrapy project found in this location
乍一看以為是路徑問題導致找不到scrapy項目,其實不然,報錯已經說明,由於底層scrapyd-deploy的模塊‘scrapy.utils.http’已經棄用,建議更新為`w3lib.http`替代
解決辦法其實很簡單,點擊上圖鏈接:
把原先第23行代碼替換成24行即可成功解決這一問題!
在將scrapyd部署的過程中可能還會遇到其他問題,比如:
Don't worry
不着急,詳情請移步我開頭的兩篇博客