python爬蟲框架—Scrapy安裝及創建項目

linux版本安裝

• pip3 install scrapy

安裝完成

 

windows版本安裝

1. pip install wheel
2. 下載twisted，網址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，選擇好與系統對應的版本
3. cmd切換到twisted文件目錄，執行安裝命令：pip3 install “twisted文件名”
4. pip install pywin32
5. pip install scrapy

安裝完成

 

創建scrapy工程項目

1、cmd切換到准備創建的項目目錄

2、執行創建命令：scrapy startproject 項目名稱   

　　ps:項目名稱必須以字母開頭，只能包含數字、字母、下划線

　　　　創建好后目錄如下：

　　　　　　　　　　

3、cmd目錄切換至第四次層spiders，執行命令創建爬蟲文件：scrapy genspider "爬蟲文件名稱"  將要爬取的url   (這里的名稱和url都可以創建好后更改，所以先簡單創一個) ；

4、執行工程，啟動爬蟲項目：scrapy crawl "爬蟲項目名稱"   （創建的爬蟲文件類中的 name 屬性值） 

 

over,接下來逐步總結具體使用方式