(十五) scrapy中selenium的應用

引入

　　在通過scrapy框架進行某些網站數據爬取的時候，往往會碰到頁面動態數據加載的情況發生，如果直接使用scrapy對其url發請求，是絕對獲取不到那部分動態加載出來的數據值。但是通過觀察我們會發現，通過瀏覽器進行url請求發送則會加載出對應的動態加載出的數據。那么如果我們想要在scrapy也獲取動態加載出的數據，則必須使用selenium創建瀏覽器對象，然后通過該瀏覽器對象進行請求發送，獲取動態加載的數據值。

今日詳情

1.案例分析：

　　需求：爬取網易新聞的國內板塊下的新聞數據

　　需求分析：當點擊國內超鏈進入國內對應的頁面時，會發現當前頁面展示的新聞數據是被動態加載出來的，如果直接通過程序對url進行請求，是獲取不到動態加載出的新聞數據的。則就需要我們使用selenium實例化一個瀏覽器對象，在該對象中進行url的請求，獲取動態加載的新聞數據。

2.selenium在scrapy中使用的原理分析：

　　當引擎將國內板塊url對應的請求提交給下載器后，下載器進行網頁數據的下載，然后將下載到的頁面數據，封裝到response中，提交給引擎，引擎將response在轉交給Spiders。Spiders接受到的response對象中存儲的頁面數據里是沒有動態加載的新聞數據的。要想獲取動態加載的新聞數據，則需要在下載中間件中對下載器提交給引擎的response響應對象進行攔截，切對其內部存儲的頁面數據進行篡改，修改成攜帶了動態加載出的新聞數據，然后將被篡改的response對象最終交給Spiders進行解析操作。

3.selenium在scrapy中的使用流程：

　　1, 重寫爬蟲文件的構造方法，在該方法中使用selenium實例化一個瀏覽器對象（因為瀏覽器對象只需要被實例化一次）

　　2. 重寫爬蟲文件的closed(self,spider)方法，在其內部關閉瀏覽器對象。該方法是在爬蟲結束時被調用

　　3. 重寫下載中間件的process_response方法，讓該方法對響應對象進行攔截，並篡改response中存儲的頁面數據

　　4. 在配置文件中開啟下載中間件

4.代碼展示：

爬蟲文件：

class WangyiSpider(RedisSpider):
    name = 'wangyi'
    #allowed_domains = ['www.xxxx.com']
    start_urls = ['https://news.163.com']
    def __init__(self):
        #實例化一個瀏覽器對象(實例化一次)
        self.bro = webdriver.Chrome(executable_path='/Users/bobo/Desktop/chromedriver')

    #必須在整個爬蟲結束后，關閉瀏覽器
    def closed(self,spider):
        print('爬蟲結束')
        self.bro.quit()

中間件文件：

from scrapy.http import HtmlResponse    
    #參數介紹：
    #攔截到響應對象（下載器傳遞給Spider的響應對象）
    #request：響應對象對應的請求對象
    #response：攔截到的響應對象
    #spider：爬蟲文件中對應的爬蟲類的實例
    def process_response(self, request, response, spider):
        #響應對象中存儲頁面數據的篡改
        if request.url in['http://news.163.com/domestic/','http://news.163.com/world/','http://news.163.com/air/','http://war.163.com/']:
            spider.bro.get(url=request.url)
            js = 'window.scrollTo(0,document.body.scrollHeight)'
            spider.bro.execute_script(js)
            time.sleep(2)  #一定要給與瀏覽器一定的緩沖加載數據的時間
            #頁面數據就是包含了動態加載出來的新聞數據對應的頁面數據
            page_text = spider.bro.page_source
            #篡改響應對象
            return HtmlResponse(url=spider.bro.current_url,body=page_text,encoding='utf-8',request=request)
        else:
            return response

配置文件：

DOWNLOADER_MIDDLEWARES = {
    'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,

}

案例: 爬取網易新聞中的新聞標題與新聞詳情

爬蟲文件:

# -*- coding: utf-8 -*-
import scrapy
from wangyipro.items import WangyiproItem
from selenium import webdriver


class WangyiSpider(scrapy.Spider):
    name = 'wangyi'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://news.163.com/']
    model_urls = []  # 里面放置的是四個版塊對應的詳情頁URL

    def __init__(self):
        self.bro = webdriver.Chrome(executable_path=r"C:\Users\Administrator\Desktop\爬蟲\day06-爬蟲\chromedriver.exe")

    def news_content_parse(self, response):
        """
        用來解析新聞詳情頁的內容, 需要接收一下傳遞過來的item對象
        :param response:
        :return:
        """
        item = response.meta['item']
        # extract()方法獲取到的是一個列表,列表里面存的是字符串
        content_list = response.xpath('//div[@id="endText"]//text()').extract()
        item['news_content'] = "".join(content_list)

        yield item

    def parse_detail(self, response):
        """
        用來解析這個版塊對應頁面的新聞數據, 在這里我們就只爬取新聞的名稱
        :param response:
        :return:
        """
        div_list = response.xpath('//div[@class="data_row news_article clearfix "]')
        for div in div_list:
            # 當前只解析到了新聞標題，還沒有解析到新聞內容
            item = WangyiproItem()
            news_title = div.xpath('./div/div[1]//a/text()').extract_first()
            news_detail_url = div.xpath('./div/div[1]//a/@href').extract_first()
            item['news_title'] = news_title

            # 發送請求，並獲取新聞內容, 使用請求傳參，將item傳遞給下一個解析方法
            yield scrapy.Request(url=news_detail_url, callback=self.news_content_parse, meta={'item': item})

    def parse(self, response):
        """
        解析四個版塊對應的URL
        只有在取文本或取屬性的時候才可以在xpath中調用extract操作
        :param response:
        :return:
        """
        li_list = response.xpath('//div[@class="ns_area list"]/ul/li')
        indexs = [3, 4, 6, 7]
        model_li_list = []  # 此列表放置四個版塊對應的li標簽
        for index in indexs:
            li = li_list[index]
            model_li_list.append(li)
        print(model_li_list)

        # 解析出四個版塊對應的URL
        for li in model_li_list:
            model_url = li.xpath('./a/@href').extract_first()
            self.model_urls.append(model_url)
            # 接下來對每個版塊的URL發起請求, 並獲取詳情頁的頁面源碼數據
            yield scrapy.Request(url=model_url, callback=self.parse_detail)

中間件文件:

# -*- coding: utf-8 -*-

# Define here the models for your spider middleware
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/spider-middleware.html

import time
from scrapy import signals
from scrapy.http import HtmlResponse


class WangyiproDownloaderMiddleware(object):
    # Not all methods need to be defined. If a method is not defined,
    # scrapy acts as if the downloader middleware does not modify the
    # passed objects.

    def process_request(self, request, spider):
        return None

    # 該方法攔截到的是所有的響應對象(需求中要攔截的是部分響應對象)
    def process_response(self, request, response, spider):
        """
        找出指定的響應對象進行解析操作
        可以根據指定的請求對象定位到指定的響應對象
        指定的請求對象可以通過請求的URL進行定位
        定位到指定的URL spider.model_urls
        :param request:
        :param response:
        :param spider:
        :return:
        """
        bro = spider.bro
        if request.url in spider.model_urls:
            # 通過指定的URL就定位到了指定的request
            # 通過指定的requests就可以定位到指定的response(不符合要求的舊響應對象)
            # 自己手動創建四個符合要求的新響應對象(需要將符合要求的響應數據放置到新的響應對象中)
            # 使用新的響應對象替換原來原始的響應對象
            bro.get(request.url)  # 使用瀏覽器向對應的URL發起請求
            time.sleep(2)
            js = "window.scrollTo(0, document.body.scrollHeight)"
            bro.execute_script(js)
            time.sleep(2)
            page_text = bro.page_source  # 頁面源碼中就包含了動態加載出來的頁面數據

            # 手動創建一個新的響應對象，將page_text作為響應數據封裝到該對象中
            # body參數表示的就是響應數據
            return HtmlResponse(url=bro.current_url, body=page_text, encoding='utf-8', request=request)

        return response

    def process_exception(self, request, exception, spider):
        pass

    def spider_opened(self, spider):
        spider.logger.info('Spider opened: %s' % spider.name)

配置文件:

# -*- coding: utf-8 -*-

BOT_NAME = 'wangyipro'

SPIDER_MODULES = ['wangyipro.spiders']
NEWSPIDER_MODULE = 'wangyipro.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'wangyipro.middlewares.WangyiproDownloaderMiddleware': 543,
}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'wangyipro.pipelines.WangyiproPipeline': 300,
}
LOG_LEVEL = 'ERROR'

 

 

作業:

1. 爬取網易新聞，對每一條新聞進行關鍵字的提取和分類，數據持久存儲到MySQL中

table(id, title, content, keyword, type)  # keyword與type使用百度ai做