Python -- Scrapy 框架簡單介紹
最近在學習python 爬蟲,先后了解學習urllib、urllib2、requests等,后來發現爬蟲也有很多框架,而推薦學習最多就是Scrapy框架了,所以這里我也小試牛刀一下。
開始自己的Scrapy 框架學習之路。
一、Scrapy安裝介紹
參考網上資料,先進行安裝
使用pip來安裝Scrapy
在命令行窗口執行如下命令即可
pip install Scrapy
安裝過程可能會因為環境等問題出現終止,此時可以查看命令行顯示提示信息,根據提示分析原因,從而解決問題。‘
win7遇到問題

如上圖提示:error:信息,發現安裝前需要有Visual C++,而且他們也提供了下載地址,可以復制粘貼到地址欄,進行下載,並安裝。
再次安裝,如下圖即可成功

二、Scrapy入門教程
1、在cmd中創建Scrapy項目工程。
在命令行,切換的自己的項目代碼的工作空間下,執行如下命令
scrapy startproject ScrapyTest
有如下提示則表示創建成功

2、 對應項目文件中新生成如下文件

解析scrapy框架結構:
scrapy.cfg: 項目的配置文件。tutorial/: 該項目的python模塊。之后您將在此加入代碼。tutorial/items.py: 項目中的item文件。tutorial/pipelines.py: 項目中的pipelines文件。tutorial/settings.py: 項目的設置文件。tutorial/spiders/: 放置spider代碼的目錄。
本想繼續深入介紹,想了想這里還是簡單做安裝介紹吧,畢竟后面還有很多內容需要學習的。
具體實例可以參考下面介紹
Python Scrapy 爬蟲框架實例(一)
