linux下執行scrapy的爬蟲定時任務


剛開始執行scrapy crawl zentaos可以完成掃描

但是通過linux的crontab任務,只執行了連接mongodb的操作,並創建了索引

也就是說scrapy crawl zentaos部分的任務沒有執行

什么原因呢?

加上

export PATH=$PATH:/usr/local/bin

就可以解決問題

mongo會自動創建索引


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM