scrapy安裝 以及初級使用 修改存放數據路徑


最近在看scrapy一個知乎的初級教程

安裝 使用國內源


pip install -i https://pypi.douban.com/simple/   scrapy

1.scrapy startproject zimulku 創建一個項目

2.cd zimuku 進入項目目錄

3.scrapy genspider demo http://zimuku.net 創建第一個爬蟲

4.從 /spiders/demo.py: 開始第一個demo 這里需要 from zimuku.items import ZimukuItem 這個時候需要查看下環境變量


import sys

print(sys.path)

因為導入的是zimuku\zimuku\ 下的items.py 這個時候 如果環境變量沒有這個路徑會報錯

sys.path.append(os.path.dirname(os.path.dirname(sys.path[0])))
sys.path.append(os.path.dirname(sys.path[0]))
這個時候把路徑添加到環境變量就行了

5.項目運行的時候有個報錯 import win32api錯誤
這個時候從http://sourceforge.net/projects/pywin32/files%2Fpywin32/這下載你對應的python版本的接口安裝


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM