anaconda下使用scrapy框架創建模板爬蟲項目

Anaconda如何安裝Scrapy框架：

1、進入anaconda prompt

2、鍵入：conda install scrapy

3、Proceed ([y]/n)?  y

4、等待安裝成功

5、鍵入：scrapy

 

 

創建scrapy爬蟲項目：

1、打開anaconda prompt

2、進入創建項目的目標目錄

3、鍵入：scrapy startproject 項目名稱

4、按照上面的提示，鍵入：

cd block123

scrapy genspider 爬蟲文件名 網址    （注意：爬蟲文件名與爬蟲項目名不可重復）

 

或者指定-t參數，即使用模板：

5、項目創建完成

6、鍵入:tree /F，所需要的編輯的文件即為items.py,spiders/example.py,setting.py

items.py: # define the fields for your item here like:

class Block123Item(scrapy.Item):

　　item1 = scrapy.Field()

　　item2 = scrapy.Field()

setting.py: # Scrapy settings for block123 project

例如：USER_AGENT, ROBOTSTXT_OBEY 等等

 spiders/example.py,spider1.py,spider2.py...

爬蟲主體代碼

7、爬蟲寫好之后，運行並輸出到指定文件，鍵入：scrapy crawl example -o result.json