概述

pyspider 是一個支持任務監控、項目管理、多種數據庫，具有 WebUI 的爬蟲框架，它采用 Python 語言編寫，分布式架構。詳細特性如下：

擁有 Web 腳本編輯界面，任務監控器，項目管理器和結構查看器；
數據庫支持 MySQL、MongoDB、Redis、SQLite、Elasticsearch、PostgreSQL、SQLAlchemy；
隊列服務支持 RabbitMQ、Beanstalk、Redis、Kombu；
支持抓取 JavaScript 的頁面；
組件可替換，支持單機、分布式部署，支持 Docker 部署；
強大的調度控制，支持超時重爬及優先級設置；
支持 Python2&3。

PySpider 主要分為 Scheduler（調度器）、 Fetcher（抓取器）、 Processer（處理器）三個部分，整個爬取過程受到 Monitor（監控器）的監控，抓取的結果被 Result Worker（結果處理器）處理。

基本流程為：Scheduler 發起任務調度，Fetcher 抓取網頁內容，Processer 解析網頁內容，再將新生成的 Request 發給 Scheduler 進行調度，將生成的提取結果輸出保存。

PySpider架構

PySpider與Scrapy對比

	PySpider	Scrapy
可視化	擁有 WebUI，爬蟲的編寫、調試可在 WebUI 中進行	采用代碼、命令行操作，實現可視化需對接 Portia
JS渲染爬取	支持使用 PhantomJS 對 JavaScript 渲染頁面的采集	需對接 Scrapy-Splash 組件
解析	內置了 PyQuery 作為選擇器	對接了 XPath、CSS 選擇器、正則匹配
擴展	擴展性弱	模塊之間耦合度低，擴展性強，如：對接 Middleware、 Pipeline 等組件實現更強功能

總的來說，PySpider 更加便捷，Scrapy 擴展性更強，如果要快速實現爬取優選 PySpider，如果爬取規模較大、反爬機制較強，優選 Scrapy。

安裝/運行

安裝

PySpider目前已不再維護，僅支持到python3.6，所以安裝3.6以上的版本會出現報錯問題，可按以下方式進行安裝:

安裝wheel(已安裝可跳過)

conda install wheel

安裝pycurl(已安裝可跳過)

conda install pycurl

安裝pyspider

pip install pyspider

安裝phantomjs

解壓后將bin目錄下的phantomjs.exe復制到python.exe文件所在目錄

找到../Python/Lib/python3.7/site-packages/pyspider/run.py，../Python/Lib/site-packages/pyspider/fetcher/tornado_fetcher.py，../Python/Lib/site-packages/pyspider/webui/app.py,將文件里面的async換一個名字(非關鍵字)就可，例如asynch

找到 ../Python/Lib/site-packages/pyspider/webui/webdav.py文件，將'domaincontroller': NeedAuthController(app),修改成：

'http_authenticator':{
	'HTTPAuthenticator':NeedAuthController(app)
},

降低wsgidav版本

python -m pip uninstall wsgidav # 卸載

python -m pip install werkzeug==1.0.0 #安裝1.0.0版本

運行

cmd窗口中輸入pyspider或者pyspider all啟動全部

瀏覽器訪問 http://localhost:5000/ ,能訪問成功則表明運行成功

項目開發

創建項目

Create-->Project Name-->Start URL(可省略到代碼中再寫)-->Create

調試代碼

源碼解讀

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2021-07-04 20:31:18
# Project: tripadvisor

from pyspider.libs.base_handler import *


class Handler(BaseHandler):
    crawl_config = {  # 全局參數設置，請求頭和cookies可以在這里設置（傳入關鍵字及對應的參數即可）
    }
    def __init__(self):  # 初始配置
        self.base_url = 'https://www.tripadvisor.cn/Attractions-g298555-Activities?subcategory=49&subtype=0'

    @every(minutes=24 * 60)  # 裝飾器,@every設置多久爬取一次(24*60為一天一次)
    def on_start(self):  # 開始爬取的入口
        '''
        crawl和requests有相同的功能 ，可以支持 get(默認) 和 post，常用的參數有:
        	data: 想要的提交數據
        	callback: 執行完crawl后要調用的回調函數
        	method: 指定訪問方法
        	files: 上傳文件，{'key': ('file.name': 'content')}
        	headers: 請求頭，類型dict
        	cookies: 請求的Cookies，類型dict
        	timeout: 請求內容里最大等待秒數．默認值：120
        	connect_timeout: 指定請求時鏈接超時時間,單位秒，默認值：20
        	proxy: 設置代理服務器，暫時只支持http代理
        '''
        self.crawl(self.base_url, callback=self.index_page,fetch_type='js')  # fetch_type='js' 爬取異步數據
	# index_page和detail_page只是初始腳本中的回調函數，除了on_start,其他的函數名可以自定
    '''
    @config:
    	age: 設置任務的有效期限，在這個期限內目標爬取的網頁被認為不會進行修改，以秒為單位
    	priority: 設定任務優先級,越大代表有越優先執行
    	auto\_recrawl: 設置是否每到age時間重新爬取一次，默認值是：False
    	priority: 這個參數用來指定任務的優先級，數值越大越先被執行，默認值為 0
    	retries: 任務執行失敗后重試次數，默認值是 3
    	itag: 任務標記值，此標記會在抓取時對比，如果這個值發生改變，不管有效期有沒有到都會重新抓取新內容．多數用來動態判斷內容是否修改或強制重爬，默認值是 None
    '''
    @config(age=10 * 24 * 60 * 60)  # 有效期限為十天，十天內的數據不會被重復爬取
    def index_page(self, response):
        for each in response.doc('a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page,fetch_type='js')

    @config(priority=2) 
    def detail_page(self, response):
        return {
            '''
            response:
            	crawl: 返回的對象是 response 對象
            	response.url: 返回最后的URL地址
            	response.text: 請求響應的文本格式內容(如果Response.encoding是None或chardet模塊可用, 響應內容會自動被解析為指定的編碼)
            	response.doc: 本方法會調用PyQuery庫用返回的內容生成一個PyQuery對象以方便使用
            	response.json: 本方法會調用JSON相關庫來解析返回的內容
            	response.status_code: 返回響應的狀態碼
            	response.headers: 請求響應的頭信息，dict格式
            	response.cookies: 響應的cookies
            	response.time: 抓取使用的時間       	
            '''
            "url": response.url,
            "title": response.doc('title').text(),  # text() 返回text文本
            "html": response.doc('title').html()  # html() 返回網頁,包含標簽
        }