在Scrapy中使用Selenium

1. selenium在scrapy中的使用流程

• 重寫爬蟲文件的構造方法，在該方法中使用selenium實例化一個瀏覽器對象（因為瀏覽器對象只需要被實例化一次）

• 重寫爬蟲文件的closed(self,spider)方法，在其內部關閉瀏覽器對象。該方法是在爬蟲結束時被調用

• 重寫下載中間件的process_response方法，讓該方法對響應對象進行攔截，並篡改response中存儲的頁面數據

• 在配置文件中開啟下載中間件

2. 代碼展示

- 爬蟲文件：

 class WangyiSpider(RedisSpider):
     name = 'wangyi'
     #allowed_domains = ['www.xxxx.com']
     start_urls = ['https://news.163.com']
     def __init__(self):
         #實例化一個瀏覽器對象(實例化一次)
         self.bro = webdriver.Chrome(executable_path='/Users/bobo/Desktop/chromedriver')
 ​
     #必須在整個爬蟲結束后，關閉瀏覽器
     def closed(self,spider):
         print('爬蟲結束')
         self.bro.quit()

- 中間件文件：

 from scrapy.http import HtmlResponse    
     #參數介紹：
     #攔截到響應對象（下載器傳遞給Spider的響應對象）
     #request：響應對象對應的請求對象
     #response：攔截到的響應對象
     #spider：爬蟲文件中對應的爬蟲類的實例
     def process_response(self, request, response, spider):
         #響應對象中存儲頁面數據的篡改
         if request.url in['http://news.163.com/domestic/','http://news.163.com/world/','http://news.163.com/air/','http://war.163.com/']:
             spider.bro.get(url=request.url)
             js = 'window.scrollTo(0,document.body.scrollHeight)'
             spider.bro.execute_script(js)
             time.sleep(2)  #一定要給與瀏覽器一定的緩沖加載數據的時間
             #頁面數據就是包含了動態加載出來的新聞數據對應的頁面數據
             page_text = spider.bro.page_source
             #篡改響應對象
             return HtmlResponse(url=spider.bro.current_url,body=page_text,encoding='utf-8',request=request)
         else:
             return response

- 配置文件：

 DOWNLOADER_MIDDLEWARES = {
     'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,
 ​
 }