Scrapy框架的基本組成及功能使用

本文轉載自查看原文 2018-09-28 18:26 1073
1.什么是scrapy？
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。框架的本質就是集成各種功能、具有很強通用性的項目模板。
2.安裝
　　Linux：
pip3 install scrapy
　　Windows：===》見Twisted安裝
a. pip3 install wheel
b. 下載twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 進入下載目錄，執行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
d. pip3 install pywin32
e. pip3 install scrapy
           3.基礎使用===》相關命令都是在命令行執行 
         

           　　3.1.創建項目：scrapy startproject 項目名稱 
         

            　　3.2.創建爬蟲應用程序： 
          

            　　　　　　cd project_name（進入項目目錄） 
          

            　　　　　　scrapy genspider 應用名稱 爬取網頁的起始url （例如：scrapy genspider qiubai www.qiushibaike.com） 
          

            　　　　　　在步驟2執行完畢后，會在項目的spiders中生成一個應用名的py爬蟲文件 
          

            　　3.3.設置修改settings.py配置文件相關配置 
          

            　　3.4.執行爬蟲程序：scrapy crawl  應用名稱 
          

            　　3.5.執行輸出指定格式進行存儲：將爬取到的數據寫入不同格式的文件中進行存儲 
               　　  scrapy crawl qiubai -o qiubai.json
    　　  scrapy crawl qiubai -o qiubai.xml
    　　  scrapy crawl qiubai -o qiubai.csv 
          

              
          

            項目基本結構和各個目錄的意義 
          
 
             1 project_name/
 2    scrapy.cfg：
 3    project_name/
 4        __init__.py
 5        items.py
 6        pipelines.py
 7        settings.py
 8        spiders/
 9            __init__.py
　　　　　　　　 應用名稱.py
10 
11 scrapy.cfg   項目的主配置信息。（真正爬蟲相關的配置信息在settings.py文件中）
12 items.py     設置數據存儲模板，用於結構化數據，如：Django的Model
13 pipelines    數據持久化處理
14 settings.py  配置文件，如：遞歸的層數、並發數，延遲下載等
15 spiders      爬蟲目錄，如：創建文件，編寫爬蟲解析規則 
           
 
執行完創建應用命令后，打開文件會顯示出如下頁面
 
             1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 
 4 class QiubaiSpider(scrapy.Spider):
 5     name = 'qiubai' #應用名稱
 6     #允許爬取的域名（如果遇到非該域名的url則爬取不到數據）
 7     allowed_domains = ['https://www.qiushibaike.com/']
 8     #起始爬取的url
 9     start_urls = ['https://www.qiushibaike.com/']
10 
11      #訪問起始URL並獲取結果后的回調函數，該函數的response參數就是向起始的url發送請求后，獲取的響應對象.該函數返回值必須為可迭代對象或者NUll 
12      def parse(self, response):
13         print(response.text) #獲取字符串類型的響應內容
14         print(response.content)#獲取字節類型的相應內容 
           
 
修改settings相關配置
 
            修改內容及其結果如下：
19行：USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #偽裝請求載體身份

22行：ROBOTSTXT_OBEY = False  #可以忽略或者不遵守robots協議 ==》防君子不防小人協議 需要改為False，不需要遵守協議 
           
 
 
scrapy對糗事百科進行爬取
 
             1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 
 4 class QiubaiSpider(scrapy.Spider):
 5     name = 'qiubai'
 6     allowed_domains = ['https://www.qiushibaike.com/']
 7     start_urls = ['https://www.qiushibaike.com/']
 8 
 9     def parse(self, response):
10         #xpath為response中的方法，可以將xpath表達式直接作用於該函數中
11         odiv = response.xpath('//div[@id="content-left"]/div')
12         content_list = [] #用於存儲解析到的數據
13         for div in odiv:
14             #xpath函數返回的為列表，列表中存放的數據為Selector類型的數據。我們解析到的內容被封裝在了Selector對象中，需要調用extract()函數將解析的內容從Selecor中取出。
15             author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
16             content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()
17 
18             #將解析到的內容封裝到字典中
19             dic={
20                 '作者':author,
21                 '內容':content
22             }
23             #將數據存儲到content_list這個列表中
24             content_list.append(dic)
25 
26         return content_list 
           
 
執行爬蟲程序並保存文件
執行輸出指定格式進行存儲：將爬取到的數據寫入不同格式的文件中進行存儲
    scrapy crawl qiubai -o qiubai.json
    scrapy crawl qiubai -o qiubai.xml
    scrapy crawl qiubai -o qiubai.csv


二.scrapy持久化操作：將爬取到糗百數據存儲寫入到文本文件中進行存儲 
             1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 
 4 
 5 class QiubaiSpider(scrapy.Spider):
 6     name = 'qiubai'
 7     allowed_domains = ['https://www.qiushibaike.com/']
 8     start_urls = ['https://www.qiushibaike.com/']
 9 
10     def parse(self, response):
11         #xpath為response中的方法，可以將xpath表達式直接作用於該函數中
12         odiv = response.xpath('//div[@id="content-left"]/div')
13         with open('./data.txt', 'w') as fp:
14             for div in odiv:
15                  #xpath函數返回的為列表，列表中存放的數據為Selector類型的數據。我們解析到的內容被封裝在了Selector對象中，需要調用extract()函數將解析的內容從Selecor中取出。
16                  author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
17                  content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()
18                  #持久化存儲爬取到的內容
19                  fp.write(author + ':' + content + '\n') 
           
 
注意：上述代碼表示的持久化操作是我們自己通過IO操作將數據進行的文件存儲。在scrapy框架中已經為我們專門集成好了高效、便捷的持久化操作功能，我們直接使用即可。要想使用scrapy的持久化操作功能，我們首先來認識如下兩個文件：
items.py：數據結構模板文件。定義數據屬性。
 pipelines.py：管道文件。接收數據（items），進行持久化操作。
持久化流程：
 1.爬蟲文件爬取到數據后，需要將數據封裝到items對象中。
 2.使用yield關鍵字將items對象提交給pipelines管道進行持久化操作。
 3.settings.py配置文件中開啟管道
 
三.小試牛刀：將糗事百科首頁中的段子和作者數據爬取下來，然后進行持久化存儲
 
             1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 from secondblood.items import SecondbloodItem
 4 
 5 class QiubaidemoSpider(scrapy.Spider):
 6     name = 'qiubaiDemo'
 7     allowed_domains = ['www.qiushibaike.com']
 8     start_urls = ['http://www.qiushibaike.com/']
 9 
10     def parse(self, response):
11         odiv = response.xpath('//div[@id="content-left"]/div')
12         for div in odiv:
13             # xpath函數返回的為列表，列表中存放的數據為Selector類型的數據。我們解析到的內容被封裝在了Selector對象中，需要調用extract()函數將解析的內容從Selecor中取出。
14             author = div.xpath('.//div[@class="author clearfix"]//h2/text()').extract_first()
15             author = author.strip('\n')#過濾空行
16             content = div.xpath('.//div[@class="content"]/span/text()').extract_first()
17             content = content.strip('\n')#過濾空行
18 
19             #將解析到的數據封裝至items對象中
20             item = SecondbloodItem()
21             item['author'] = author
22             item['content'] = content
23 
24             yield item#提交item到管道文件（pipelines.py） 
           
 
items.py
 
            1 import scrapy
2 
3 
4 class SecondbloodItem(scrapy.Item):
5     # define the fields for your item here like:
6     # name = scrapy.Field()
7     author = scrapy.Field() #存儲作者
8     content = scrapy.Field() #存儲段子內容 
           
 
管道文件：pipelines.py
 
             1 # -*- coding: utf-8 -*-
 2 
 3 # Define your item pipelines here
 4 #
 5 # Don't forget to add your pipeline to the ITEM_PIPELINES setting
 6 # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
 7 
 8 
 9 class SecondbloodPipeline(object):
10     #構造方法
11     def __init__(self):
12         self.fp = None  #定義一個文件描述符屬性
13 　　#下列都是在重寫父類的方法：
14     #開始爬蟲時，執行一次
15     def open_spider(self,spider):
16         print('爬蟲開始')
17         self.fp = open('./data.txt', 'w')
18 
19 　　 #因為該方法會被執行調用多次，所以文件的開啟和關閉操作寫在了另外兩個只會各自執行一次的方法中。
20     def process_item(self, item, spider):
21         #將爬蟲程序提交的item進行持久化存儲
22         self.fp.write(item['author'] + ':' + item['content'] + '\n')
23         return item
24 
25     #結束爬蟲時，執行一次
26     def close_spider(self,spider):
27         self.fp.close()
28         print('爬蟲結束') 
           
 
配置文件：settings.py
 
            #開啟管道
ITEM_PIPELINES = {
    'secondblood.pipelines.SecondbloodPipeline': 300, #300表示為優先級，值越小優先級越高
} 
           
 
Scrapy遞歸爬取多頁數據：
　   需求：將糗事百科所有頁碼的作者和段子內容數據進行爬取切持久化存儲
 
             1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 from qiushibaike.items import QiushibaikeItem
 4 # scrapy.http import Request
 5 class QiushiSpider(scrapy.Spider):
 6     name = 'qiushi'
 7     allowed_domains = ['www.qiushibaike.com']
 8     start_urls = ['https://www.qiushibaike.com/text/']
 9 
10     #爬取多頁
11     pageNum = 1 #起始頁碼
12     url = 'https://www.qiushibaike.com/text/page/%s/' #每頁的url
13 
14     def parse(self, response):
15         div_list=response.xpath('//*[@id="content-left"]/div')
16         for div in div_list:
17             #//*[@id="qiushi_tag_120996995"]/div[1]/a[2]/h2
18             author=div.xpath('.//div[@class="author clearfix"]//h2/text()').extract_first()
19             author=author.strip('\n')
20             content=div.xpath('.//div[@class="content"]/span/text()').extract_first()
21             content=content.strip('\n')
22             item=QiushibaikeItem()
23             item['author']=author
24             item['content']=content
25 
26             yield item #提交item到管道進行持久化
27 
28          #爬取所有頁碼數據
29         if self.pageNum <= 13: #一共爬取13頁（共13頁）
30             self.pageNum += 1
31             url = format(self.url % self.pageNum)
32 
33             #遞歸爬取數據：callback參數的值為回調函數（將url請求后，得到的相應數據繼續進行parse解析），遞歸調用parse函數
34             yield scrapy.Request(url=url,callback=self.parse) 
           
 
scrapy組件
 
 
 
            引擎(Scrapy)
用來處理整個系統的數據流處理, 觸發事務(框架核心)
調度器(Scheduler)
用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什么, 同時去除重復的網址
下載器(Downloader)
用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的異步模型上的)
爬蟲(Spiders)
爬蟲是主要干活的, 用於從特定的網頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續抓取下一個頁面
項目管道(Pipeline)
負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當頁面被爬蟲解析后，將被發送到項目管道，並經過幾個特定的次序處理數據。
 
           　　　　 * 解釋：引擎首先會將爬蟲文件中的起始url獲取，並且提交到調度器中。如果需要從url中下載數據，則調度器會將url通過引擎提交給下載器，下載器根據url去下載指定內容（響應體）。下載好的數據會通過引擎移交給爬蟲文件，爬蟲文件可以將下載的數據進行指定格式的解析。如果解析出的數據需要進行持久化存儲，則爬蟲文件會將解析好的數據通過引擎移交給管道進行持久化存儲。　　　　　
　
面試題：如果最終需要將爬取到的數據值一份存儲到磁盤文件，一份存儲到數據庫中，則應該如何操作scrapy？　　
答：管道文件中的代碼為：　　
 
             1 #該類為管道類，該類中的process_item方法是用來實現持久化存儲操作的。
 2 class DoublekillPipeline(object):
 3 
 4     def process_item(self, item, spider):
 5         #持久化操作代碼 （方式1：寫入磁盤文件）
 6         return item
 7 
 8 #如果想實現另一種形式的持久化操作，則可以再定制一個管道類：
 9 class DoublekillPipeline_db(object):
10 
11     def process_item(self, item, spider):
12         #持久化操作代碼 （方式1：寫入數據庫）
13         return item 
           
 
在settings.py開啟管道操作代碼為：
 
            1 #下列結構為字典，字典中的鍵值表示的是即將被啟用執行的管道文件和其執行的優先級。
2 ITEM_PIPELINES = {
3    'doublekill.pipelines.DoublekillPipeline': 300,
4     'doublekill.pipelines.DoublekillPipeline_db': 200,
5 }
6 
7 #上述代碼中，字典中的兩組鍵值分別表示會執行管道文件中對應的兩個管道類中的process_item方法，實現兩種不同形式的持久化操作。 
           
 
五.Scrapy發起post請求：
 　　- 問題：在之前代碼中，我們從來沒有手動的對start_urls列表中存儲的起始url進行過請求的發送，但是起始url的確是進行了請求的發送，那這是如何實現的呢？
　 　- 解答：其實是因為爬蟲文件中的爬蟲類繼承到了Spider父類中的start_requests（self）這個方法，該方法就可以對start_urls列表中的url發起請求：
 
                def start_requests(self):
        for u in self.start_urls:
           yield scrapy.Request(url=u,callback=self.parse) 
           
　　【注意】該方法默認的實現，是對起始的url發起get請求，如果想發起post請求，則需要子類重寫該方法。
　　- 重寫start_requests方法，讓其發起post請求：
 
 
            def start_requests(self):
        #請求的url
        post_url = 'http://fanyi.baidu.com/sug'
        # 表單數據
        formdata = {
            'kw': 'wolf',
        }
        # 發送post請求
        yield scrapy.FormRequest(url=post_url, formdata=formdata, callback=self.parse) 
           
 

              
          
免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
猜您在找 CPU的功能和基本組成結構計算機硬件的基本組成-大框架的建立 vim功能使用橋梁的基本組成和分類網站的基本組成 mysql基本組成 UML 的基本組成 MySQL腳本的基本組成 Zotero 訂閱功能使用小程序（如何創建、基本組成結構、頁面組成、常見組件使用、協同開發和發布）