python爬蟲框架scrapy 豆瓣實戰

Scrapy

官方介紹是

An open source and collaborative framework for extracting the data you need from websites.

In a fast, simple, yet extensible way.

意思就是

一個開源和協作框架，用於以快速，簡單，可擴展的方式從網站中提取所需的數據。

---

 

環境准備

本文項目使用環境及工具如下

• python3
• scrapy
• mongodb

python3 scrapy的安裝就不再敘述

mongodb是用來存儲數據的nosql非關系型數據庫 官方下載地址https://www.mongodb.com/download-center/community?jmp=docs

mongodb圖形化管理工具推薦使用nosqlmanager

---

 項目創建

沒錯，我們還是挑軟柿子捏，就爬取最簡單的豆瓣電影top250

😂這個網站幾乎是每個學習爬蟲的人都會去爬取的網站，這個網站特別有代表性 話不多說，項目開始

創建scrapy項目需要在命令行中進行

切換到工作目錄，然后輸入指令  scrapy startproject douban

即創建成功，然后使用pycharm打開項目 首先看下目錄結構

我們發現項目spiders中只有一個文件，放爬蟲的地方怎么會只有一個__init__.py呢 

別急我們還需要輸入一個命令來創建基本爬蟲  打開cmd切換到目錄文件夾下的spiders目錄

輸入 scrapy genspider douban_spider https://movie.douban.com/top250

如下圖創建爬蟲成功  

然后我們打開項目分析目錄結構

douban                                                      項目文件夾

　　spiders　　　　　　　　　　　　    爬蟲文件夾

　　　　__init__.py

　　　　douban_spider.py　　　　　　 爬蟲文件

　　__init__.py

　　ietms.py　　　　　　　　　　　　  定義items數據結構的地方（即我們爬取內容的屬性之類的信息）

　　middlewares.py　　　　　　　　　 中間件

　　pipelines.py　　　　　　　　　　　定義對於items的處理方法（數據清洗等）（需要在settings中開啟pipelines選項）

　　settings.py　　　　　　　　　　　 項目的設置文件，定義全局的各種設置（比如頭部代理，任務並發量，下載延遲等等）

scrapy.cfg                                                 項目的配置文件（包含一些默認的配置信息）

至此我們的的項目算是創建成功了

---

 

確定內容

創建好項目之后下一步就是確定我們要爬取的內容了，然后才可以開始編寫我們的items.py文件

首先打開目標網頁進行分析 

網頁中有哪些東西是我們需要的呢？

• 電影排名編號
• 電影名稱
• 電影演職員以及年份分類
• 電影星級評分 
• 評論人數
• 電影簡介 

現在就可以根據內容來編寫items.py文件了

items.py文件代碼編寫如下

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class DoubanItem(scrapy.Item):
    #示例
    # define the fields for your item here like:
    # name = scrapy.Field()

    serial_number = scrapy.Field()#排名
    movie_name = scrapy.Field()#電影名稱
    introduce = scrapy.Field()#電影簡介基本信息
    star = scrapy.Field()#電影星級評分
    evaluate = scrapy.Field()#電影評論人數
    describe = scrapy.Field()#電影內容簡介

 

---

 

內容提取spider文件編寫

確定內容之后就是非常關鍵的spider爬蟲文件編寫了 

測試階段douban_spider.py文件編寫如下：

# -*- coding: utf-8 -*-
import scrapy


class DoubanSpiderSpider(scrapy.Spider):
    #爬蟲名字
    name = 'douban_spider'
    #允許的域名 爬取url都屬於這個域名
    allowed_domains = ['movie.douban.com']
    #起始url
    start_urls = ['https://movie.douban.com/top250/']

    def parse(self, response):
        print(response.text)#打印響應內容
        pass

然后我們需要運行下我們的爬蟲看下現在能否出什么信息

打開命令窗口並cd到項目目錄下輸入命令   scrapy crawl douban_spider

douban_spider是爬蟲的名字

運行如下圖

發現里面有爬蟲的信息也有返回響應的信息，但是我們可以看出來沒有我們想要的電影信息，現在怎么辦？

稍微學習過爬蟲的同學都知道，爬蟲是需要修改 USER_AGENT 的，這也是最簡單的反爬蟲機制，所以我們同樣需要去修改我們爬蟲的用戶代理

去哪找頭部代理呢？簡單一點的可以直接去百度搜索一個，或者呢我們用瀏覽器調試台把自己的用戶代理復制下來

例如chrome瀏覽器按F12點擊一個資源復制出來用戶代理即可不再贅述

打開settings.py文件  找到USER_AGENT修改如下：

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'douban (+http://www.yourdomain.com)'
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'

然后我們再次打開命令窗口並cd到項目目錄下輸入命令   scrapy crawl douban_spider

發現已經有了我們想要的電影信息

同時每次在命令行運行spider確實不方便，我們可以在項目中添加一個main.py的啟動文件如下

main.py編寫代碼：

from scrapy import cmdline
cmdline.execute('scrapy crawl douban_spider'.split())

運行，發現就得到了與命令行運行一樣的效果了

接下來的工作就是數據處理了，提取出我們想要的信息  繼續編寫spider.py文件

對於數據的提取我們使用xpath定位 先來觀察目標網站的元素 我們可以看到top250電影中每一頁有25個電影信息 並且每個電影信息都是一個列表 li

xpath有好多種寫法 我們可以審查元素然后編寫xpath定位，或者呢直接用chrome也可以直接獲取某元素的xpath路徑

例如使用某xpath瀏覽器插件來找我們需要的元素 我們首先先找到每個電影的定位

如圖我們編寫 //ol[@class='grid_view']/li/div[@class='item'] 就可以定位到當前每個電影 其實我們簡單點直接寫 //ol/li 也可以，但是我們最好直接精確一點 xpath語法如下

表達式	描述
nodename	選取此節點的所有子節點。
/	從根節點選取。
//	從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。
.	選取當前節點。
..	選取當前節點的父節點。
@	選取屬性。

然后同理，我們就可以找到電影排名，名稱，評論等等信息的xpath， 接下來在spider.py文件中引用我們的 items.py中編寫的DoubanItem類 然后完成對象屬性的賦值

spider.py文件代碼：

# -*- coding: utf-8 -*-
import scrapy
from douban.items import DoubanItem


class DoubanSpiderSpider(scrapy.Spider):
    #爬蟲名字
    name = 'douban_spider'
    #允許的域名 爬取url都屬於這個域名
    allowed_domains = ['movie.douban.com']
    #起始url
    start_urls = ['https://movie.douban.com/top250/']

    #默認解析方法
    def parse(self, response):
        # 注意在python語句中使用xpath如 注意與原來語句單雙引號的問題
        movie_list=response.xpath("//ol[@class='grid_view']/li/div[@class='item']")
        for movie_item in movie_list:
            douban_item=DoubanItem()
            #xpath語句最后的text()是獲取當前xpath的內容
            # scrapy get() getall()方法獲得xpath路徑的值 兩種方法不同請百度
            douban_item['serial_number'] = movie_item.xpath(".//em/text()").get()
            douban_item['movie_name'] = movie_item.xpath(".//span[@class='title']/text()").get()
            #介紹的內容非常不規范並且有好多行，首先使用getall()來獲取，然后我們要對其進行處理
            content = movie_item.xpath(".//div[@class='bd']/p[1]/text()").getall()
            #處理
            contient_introduce=''
            for conitem in content:
                content_s=''.join(conitem.split())
                contient_introduce=contient_introduce+content_s+'  '
            #賦值
            douban_item['introduce'] = contient_introduce
            douban_item['star'] = movie_item.xpath(".//span[@class='rating_num']/text()").get()
            douban_item['evaluate'] = movie_item.xpath(".//div[@class='star']/span[4]/text()").get()
            douban_item['describe'] = movie_item.xpath(".//div[@class='bd']/p[2]/span/text()").get()
            #我們需要把獲取到的東西yield到douban_item中，否則我們的管道pipelines.py無法接收數據
            yield douban_item

        #我們需要自動翻頁到下一頁去解析數據
        next_linkend=response.xpath("//span[@class='next']/a/@href").get()
        #判斷next_linkend是否存在
        if next_linkend:
            next_link = 'https://movie.douban.com/top250/'+next_linkend
            #同樣需要yield提交到調度器中 同時添加一個回調函數(剛剛編寫的數據提取函數)
            yield scrapy.Request(next_link,callback=self.parse)

---

數據存儲

我們可以使用命令直接將數據保存到 json或者csv文件如下

還是使用命令行   cd到項目目錄  

輸入命令  scrapy crawl douban_spider -o test.json 就可以得到一個json文件

輸入命令  scrapy crawl douban_spider -o test.csv  就可以得到一個csv文件

這個csv文件可以直接用excel打開瀏覽，但是我們會發現存在亂碼，我們可以先用notepad++打開文件改下編碼方式然后保存再用excel打開即可

存儲到數據庫

接下來我們需要對pipelines.py進行編寫，將數據存儲到mongodb中

注意我們需要在setting.py中將 ITEM_PIPELINES 的注釋關掉，這樣才能正常的運行pipelines.py

pipelines.py代碼：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html

import pymongo
#連接本地數據庫   遠程也可以
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
#數據庫名稱
mydb = myclient["douban"]
#數據表名稱
mysheet = mydb["movie"]

class DoubanPipeline(object):
    #此中的item就是剛剛yield回來的
    def process_item(self, item, spider):
        data=dict(item)
        #插入數據
        mysheet.insert(data)
        return item

現在運行 main.py 數據就存儲到數據庫之中了，我們可以打開數據庫查看數據

至此，我們的爬蟲項目可以說已經完成了。

---

 

爬蟲偽裝

• ip代理中間件
• user-agent中間件

ip代理需要購買服務器然后可以使用先不提了 

我們嘗試下user-agent中間件

編寫middlewares.py再最后新加入我們自己編寫的類(文件最上端要 import random)：

class my_useragent(object):
    def process_request(self,request,spider):
        USER_AGENT_LIST = [
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
            "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
            "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
            "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
            "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
            "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
            "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
            "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
            "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
        ]
        agent = random.choice(USER_AGENT_LIST)
        request.headers['User_Agent'] = agent

然后去 settings.py 中開啟中間件並修改為我們剛剛創建的類如下圖

然后再運行 main.py 就都OK了。