Python版本:3.5 系統:Windows
一、准備工作
需要先安裝幾個庫(pip,lxml,pywin32,Twisted,pyOpenSSL),這些都比較容易,如果使用的是Pycharm,就可以更方便的安裝模塊,在settings里可以選擇版本進行下載。
如果在命令行模式下輸入pip -V出現 'pip' 不是內部或外部命令,也不是可運行的程序或批處理文件,先確保自己在環境變量中配置E:\Python3.5\Scripts,如果環境變量配置沒有問題,但還是出現 'pip' 不是內部或外部命令,也不是可運行的程序或批處理文件,可以在命令行模式下輸入python -m pip install --upgrade pip,這步操作之后應該就沒問題了。
二、安裝scrapy庫
在E盤新建一個Scrapy文件夾,然后進入文件夾,shift+鼠標右鍵,然后打開命令窗口。
在命令行窗口里輸入pip install scrapy,就會安裝scrapy的最新版本,安裝好了之后輸入scrapy -h查看相應信息。
三、創建項目
在開始爬取之前,我們必須創建一個新的Scrapy項目。 進入我們打算存儲代碼的目錄中,運行下列命令::
scrapy startproject Test
該命令將會創建包含下列內容的Test 目錄:
Test/
Test/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
這些文件分別是:
Test/
: 該項目的python模塊。之后您將在此加入代碼。
Test/items.py
: 項目中的item文件.
Test/pipelines.py
: 項目中的pipelines文件.
Test/settings.py
: 項目的設置文件.
Test/spiders/
: 放置spider代碼的目錄.
做完上述准備工作之后,就可以開始寫我們的第一個scrapy項目了。(n_n)