Python -- Scrapy 框架簡單介紹(Scrapy 安裝及項目創建)


Python -- Scrapy 框架簡單介紹

最近在學習python 爬蟲,先后了解學習urllib、urllib2、requests等,后來發現爬蟲也有很多框架,而推薦學習最多就是Scrapy框架了,所以這里我也小試牛刀一下。

 

開始自己的Scrapy 框架學習之路。

一、Scrapy安裝介紹

參考網上資料,先進行安裝

使用pip來安裝Scrapy

 在命令行窗口執行如下命令即可

pip install Scrapy 

安裝過程可能會因為環境等問題出現終止,此時可以查看命令行顯示提示信息,根據提示分析原因,從而解決問題。‘

win7遇到問題

如上圖提示:error:信息,發現安裝前需要有Visual C++,而且他們也提供了下載地址,可以復制粘貼到地址欄,進行下載,並安裝。

再次安裝,如下圖即可成功

 

 二、Scrapy入門教程

1、在cmd中創建Scrapy項目工程。

在命令行,切換的自己的項目代碼的工作空間下,執行如下命令

scrapy startproject ScrapyTest

有如下提示則表示創建成功

 

2、 對應項目文件中新生成如下文件

 

 

解析scrapy框架結構:

  • scrapy.cfg: 項目的配置文件。
  • tutorial/: 該項目的python模塊。之后您將在此加入代碼。
  • tutorial/items.py: 項目中的item文件。
  • tutorial/pipelines.py: 項目中的pipelines文件。
  • tutorial/settings.py: 項目的設置文件。
  • tutorial/spiders/: 放置spider代碼的目錄。

 

本想繼續深入介紹,想了想這里還是簡單做安裝介紹吧,畢竟后面還有很多內容需要學習的。

 

具體實例可以參考下面介紹

Python Scrapy 爬蟲框架實例(一)

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM