第三百二十四節，web爬蟲，scrapy模塊介紹與使用

第三百二十四節，web爬蟲，scrapy模塊介紹與使用

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 其可以應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。
其最初是為了頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途廣泛，可以用於數據挖掘、監測和自動化測試。

Scrapy 使用了 Twisted異步網絡庫來處理網絡通訊。整體架構大致如下

 

Scrapy主要包括了以下組件：

• 引擎(Scrapy)
  用來處理整個系統的數據流處理, 觸發事務(框架核心)
• 調度器(Scheduler)
  用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什么, 同時去除重復的網址
• 下載器(Downloader)
  用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的異步模型上的)
• 爬蟲(Spiders)
  爬蟲是主要干活的, 用於從特定的網頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續抓取下一個頁面
• 項目管道(Pipeline)
  負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當頁面被爬蟲解析后，將被發送到項目管道，並經過幾個特定的次序處理數據。
• 下載器中間件(Downloader Middlewares)
  位於Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。
• 爬蟲中間件(Spider Middlewares)
  介於Scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應輸入和請求輸出。
• 調度中間件(Scheduler Middewares)
  介於Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。

 

Scrapy運行流程大概如下：

1. 引擎從調度器中取出一個鏈接(URL)用於接下來的抓取
2. 引擎把URL封裝成一個請求(Request)傳給下載器
3. 下載器把資源下載下來，並封裝成應答包(Response)
4. 爬蟲解析Response
5. 解析出實體（Item）,則交給實體管道進行進一步的處理
6. 解析出的是鏈接（URL）,則把URL交給調度器等待抓取

 

創建Scrapy框架項目

Scrapy框架項目是有python安裝目錄里的Scripts文件夾里scrapy.exe文件創建的，所以python安裝目錄下的Scripts文件夾要配置到系統環境變量里，才能運行命令生成項目

創建項目

首先運行cmd終端，然后cd 進入要創建項目的目錄，如：cd H:\py\14

進入要創建項目的目錄后執行命令 scrapy startproject 項目名稱

scrapy startproject pach1

項目創建成功

 

項目說明

目錄結構如下：

├── firstCrawler

│   ├── __init__.py

│   ├── items.py

│   ├── middlewares.py

│   ├── pipelines.py

│   ├── settings.py

│   └── spiders

│       └── __init__.py

└── scrapy.cfg

• scrapy.cfg: 項目的配置文件
• tems.py: 項目中的item文件，用來定義解析對象對應的屬性或字段。
• pipelines.py: 負責處理被spider提取出來的item。典型的處理有清理、 驗證及持久化(例如存取到數據庫）
  
• settings.py: 項目的設置文件.
• spiders：實現自定義爬蟲的目錄
• middlewares.py：Spider中間件是在引擎及Spider之間的特定鈎子(specific hook)，處理spider的輸入(response)和輸出(items及requests)。 其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能。

 

創建第一個爬蟲

創建爬蟲文件在spiders文件夾里創建

1、創建一個類必須繼承scrapy.Spider類，類名稱自定義

類里的屬性和方法：

name屬性，設置爬蟲名稱
allowed_domains屬性，設置爬取的域名，不帶http
start_urls屬性，設置爬取的URL，帶http
parse()方法，爬取頁面后的回調方法，response參數是一個對象，封裝了所有的爬取信息

response對象的方法和屬性

response.url獲取抓取的rul
response.body獲取網頁內容字節類型
response.body_as_unicode()獲取網站內容字符串類型

# -*- coding: utf-8 -*-
import scrapy


class AdcSpider(scrapy.Spider):
    name = 'adc'                                        #設置爬蟲名稱
    allowed_domains = ['www.shaimn.com']
    start_urls = ['http://www.shaimn.com/xinggan/']

    def parse(self, response):
        current_url = response.url                      #獲取抓取的rul
        body = response.body                            #獲取網頁內容字節類型
        unicode_body = response.body_as_unicode()       #獲取網站內容字符串類型
        print(unicode_body)

爬蟲寫好后執行爬蟲，cd到爬蟲目錄里執行scrapy crawl adc --nolog命令，說明：scrapy crawl adc(adc表示爬蟲名稱) --nolog(--nolog表示不顯示日志)

也可以在PyCharm執行命令