scrapy實現數據持久化、數據庫連接、圖片文件下載及settings.py配置

數據持久化的兩種方式：（1）基於終端指令的持久化存儲；（2）基於管道的持久化存儲

基於終端指令的持久化存儲

　　在爬蟲文件的parse方法中必須要return可迭代對象類型（通常為列表或字典等）的返回值，該返回值作為基於終端指令持久化指定文件的輸出內容。

執行輸出指定格式進行存儲-------將爬取到的數據寫入不同格式的文件中進行存儲，存儲格式有限：
    scrapy crawl 爬蟲文件 -o xxx.json scrapy crawl 爬蟲文件 -o xxx.xml scrapy crawl 爬蟲文件 -o xxx.csv

基於管道的持久化存儲

　　(1)編寫爬蟲文件進行數據解析

　　(2)在items.py中定義相關字段（用於存儲解析的數據）

　　(3)在爬蟲文件中將解析到的數據封裝在實例化的item對象中

　　(4)通過yield將item對象提交到pipelines.py中的管道

　　(5)在管道中進行任意方式的數據持久化（數據庫持久化需要重寫兩個方法open_spider和close_spider）

　　(6)在settings.py配置文件中開啟管道（ITEM_PIPELINES ，同時處理ROBOTSTXT_OBEY協議、USER_AGENT 偽裝和LOG_LEVEL='ERROR'日志輸出等級）

　　(7)啟動爬蟲：scrapy crawl  爬蟲文件

百度首頁超鏈接數據解析與持久化存儲

　　1.編寫爬蟲文件firstPro.py　　　

# -*- coding: utf-8 -*-
import scrapy
from firstPro.items import FirstproItem


class FirstbaiduSpider(scrapy.Spider):
    name = 'firstBaidu'  # 爬蟲文件（應用）名
    # allowed_domains = ['https://www.baidu.com/']#域名限定，一般直接注釋
    start_urls = ['https://www.baidu.com//']  # 起始url，創建應用時指定的，可修改

    def parse(self, response):  # 自動訪問起始URL並獲取結果后的回調函數，參數respons為起始請求的響應對象，可以直接調用封裝好的xpath解析

        # print(response.text)#獲取字符串類型的響應內容
        # print(response.body)#獲取字節類型的相應內容

        # 進行數據解析
        a_list = response.xpath('//p[@id="nv"]/a')  # 注意頁面解析標簽定位！！！瀏覽器看到的標簽位置和實際爬去的頁面內容位置可能不一樣
        for a in a_list:
            # scrapy自帶xpath解析獲取文本或屬性需要使用extract()或extract_first()
            title = a.xpath('./text()').extract_first().replace('\xa0','')  # extract_first()從結果列表獲取第一個值
            url = a.xpath('./@href')[0].extract()  # extract()從解析結果中取出所有制，結果只有一個就是字符串，多個就是列表
            # print(title, url)

            # 解析后的數據需要進行持久化存儲：
            # （1）items.py中定義相關存儲字段；
            item = FirstproItem()
            # （2）實例化item對象將解析的數據進行封裝；
            item['title'] = title
            item['url'] = url
            # （3）使用yield將item對象提交給管道處理
            yield item

        pass

　　2.自定義items.py中的類字段

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class FirstproItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title=scrapy.Field()#存儲標題
    url=scrapy.Field()#存儲連接
    pass

　　3.管道pipilines.py處理類定義

注意：
    （1）要想使用管道進行數據持久化，必須在settings.py中進行開啟配置;
    （2）可以定義多個管道類進行處理，但是在每個process_item函數中必須return item 傳遞給其它管道使用;
    （3）process_item參數item只接受爬蟲文件提交來的item對象，參數spider是爬蟲文件中類的實例化對象，可以進行數據傳遞；
    （4）如果要對數九持久化寫入到數據庫，需要在管道類中重寫open_spider和close_spider方法,這兩個方法只會被執行一次；
    （5）對於圖片類（視頻、音頻等二進制）數據的下載有可以定義新的管道繼承相關類既可以直接實現圖片的下載,注意要在settings.py中指定存儲路徑IMAGES_STORE=path

# 注意：
# （1）要想使用管道進行數據持久化，必須在settings.py中進行開啟配置
# （2）可以定義多個管道類進行處理，但是在每個process_item函數中必須return item 傳遞給其它管道使用
# （3）process_item參數item只接受爬蟲文件提交來的item對象，參數spider是爬蟲文件中類的實例化對象，可以進行數據傳遞；
# （4）如果要對數九持久化寫入到數據庫，需要在管道類中重寫open_spider和close_spider方法,這兩個方法只會被執行一次；
# （5）對於圖片類（視頻、音頻等二進制）數據的下載有可以定義新的管道繼承相關類既可以直接實現圖片的下載

# 默認管道處理
class FirstproPipeline(object):
    # item對象處理函數
    def process_item(self, item, spider):
        print(item)
        return item

# (1)自定義的文件持久化管道
class TofilePipeline(object):
    # 構造方法初始化一個屬性文件句柄，也可以定義一個類變量：fp=None
    def __init__(self):
        self.fp = None

    # 打開文件句柄
    def open_spider(self, spider):
        print('開始寫入數據...')
        self.fp = open('a.text', 'w', encoding='utf-8')

    # 關閉文件進行系統資源回收
    def close_spider(self, spider):
        self.fp.close()
        print('數據下載成功，爬蟲結束！')

    def process_item(self, item, spider):
        self.fp.write(f'{item["title"]}:{item["url"]}\n')
        return item

# (2)自定義的基於mysql數據庫持久化管道
import pymysql
class ToMysqlPipeline(object):
    conn = None
    cursor = None

    # 建立數據庫連接
    def open_spider(self, spider):
        print('建立數據庫連接...')
        self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='123456', db='spider')

    # 關閉數據庫連接
    def close_spider(self, spider):
        self.cursor.close()  # conn斷開時也會自動斷開
        self.conn.close()
        print('成功寫入數據庫！')

    def process_item(self, item, spider):
        sql = f'insert into table1 values ({item["title"]},{item["url"]})'
        self.cursor = self.conn.cursor()

        # 數據庫事務操作
        try:
            self.cursor.execute(sql)
            self.conn.commit()
        except Exception as e:
            print(e)
            self.conn.rollback()

        return item

# (3)自定義的基於redis數據庫持久化管道
import redis
class ToRedisPipeline(object):
    conn = None

    # 建立數據庫連接
    def open_spider(self, spider):
        print('建立數據庫連接...')
        self.conn = redis.Redis(host='127.0.0.1', port=6379)

    def process_item(self, item, spider):
        self.conn.lpush('data', dict(item))  # 將item對象以字典形式存儲在redis列表結構中
        return item

# (4)自定義的基於mongodb數據庫持久化管道
import pymongo
class ToMongoDBPipeline(object):
    conn = None

    # 建立數據庫連接
    def open_spider(self, spider):
        print('建立數據庫連接...')
        self.conn = pymongo.MongoClient(host='127.0.0.1', port=27017)

    # 關閉數據庫連接(可以不寫)
    def close_spider(self, spider):
        self.conn.close()
        print('成功寫入數據庫！')

    def process_item(self, item, spider):
        self.conn.Spider.col.insert_one({item["title"]:item["url"]})  #將title：url存入mongodb的Spider數據庫中col集合（表）中
        return item

# (5)自定義圖片等文件的下載管道
#IMAGES_STORE='filepath'在settings設置文件中指定存儲圖片的下載路徑
import os
import scrapy
from scrapy.pipelines.images import ImagesPipeline

class ImageDownloadPipeline(ImagesPipeline):
    #接收item且將item中存儲的url進行請求發送
    def get_media_requests(self, item, info):  # 下載圖片
        url=item["url"]
        yield scrapy.Request(url, meta={'item': item})

    # 指定下載路徑
    def file_path(self, request, response=None, info=None):
        item = request.meta['item']
        img_name = request.url.split('/')[-1]
        path='圖片'#自動會創建文件夾，同時存放在settings.py中指定的IMAGES_STORE配置路徑下
        filename = os.path.join(path, img_name)
        print(f'正在下載------{filename}...')
        return filename

    # 將item傳遞給下一個即將被執行的管道類
    def item_completed(self, result, item, info):
        return item

　　4.settings.py配置文件

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'firstPro (+http://www.yourdomain.com)'
# （1）UA偽造
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'

# Obey robots.txt rules
# ROBOTSTXT_OBEY = True
# (2)不遵守robots協議
ROBOTSTXT_OBEY = False

# （3）設置日志輸出等級
LOG_LEVEL = 'ERROR'




# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
# 取消注釋，開啟管道，數字代表優先級，越小級別越高，按需要開啟
ITEM_PIPELINES = {
    'firstPro.pipelines.FirstproPipeline': 300,
    'firstPro.pipelines.TofilePipeline': 200,
    # 'firstPro.pipelines.ToMysqlPipeline': 600,
    'firstPro.pipelines.ToRedisPipeline': 100,
    # 'firstPro.pipelines.ToMongoDBPipeline': 400,
    # 'firstPro.pipelines.ImageDownloadPipeline': 200,
}

#如果開啟圖片下載管道，需要指定下載目錄
# IMAGES_STORE='./images'

　　5.啟動爬蟲程序　　

scrapy crawl firstPro