【Python3爬蟲】Scrapy入門教程


Python版本:3.5            系統:Windows

 

一、准備工作

需要先安裝幾個庫(pip,lxml,pywin32,Twisted,pyOpenSSL),這些都比較容易,如果使用的是Pycharm,就可以更方便的安裝模塊,在settings里可以選擇版本進行下載。

如果在命令行模式下輸入pip -V出現 'pip' 不是內部或外部命令,也不是可運行的程序或批處理文件,先確保自己在環境變量中配置E:\Python3.5\Scripts,如果環境變量配置沒有問題,但還是出現 'pip' 不是內部或外部命令,也不是可運行的程序或批處理文件,可以在命令行模式下輸入python -m pip install --upgrade pip,這步操作之后應該就沒問題了。

 

二、安裝scrapy庫

在E盤新建一個Scrapy文件夾,然后進入文件夾,shift+鼠標右鍵,然后打開命令窗口。

在命令行窗口里輸入pip install scrapy,就會安裝scrapy的最新版本,安裝好了之后輸入scrapy -h查看相應信息。

 

三、創建項目

在開始爬取之前,我們必須創建一個新的Scrapy項目。 進入我們打算存儲代碼的目錄中,運行下列命令::

scrapy startproject Test

該命令將會創建包含下列內容的Test 目錄:

Test/
Test/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py

這些文件分別是:

Test/ 該項目的python模塊。之后您將在此加入代碼。

Test/items.py:  項目中的item文件.

Test/pipelines.py:  項目中的pipelines文件.

Test/settings.py 項目的設置文件.

Test/spiders/:  放置spider代碼的目錄.

 

做完上述准備工作之后,就可以開始寫我們的第一個scrapy項目了。(n_n)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM