初識scrapy框架（十）------ 爬取手機APP的圖片

　　該文章以爬取手機斗魚APP為例，我們希望爬取關鍵字”顏值“里面的主播大圖，點擊獲取：前期手機配置與fiddler配置。

配置好fiddler和手機之后，打開斗魚APP，用fiddler抓包，這里的數據返回的都是JSON數據，所以我們可以直接用json提取。

首先找到鏈接，這里作者抓到的鏈接使用是有問題的，真實科研的鏈接是：https://capi.douyucdn.cn*******&offset=0  .這

里不方便公布別人的資源鏈接，請自己多抓，自行尋找。鏈接效果圖如下：

 

根據這個鏈接，使用scrapy爬取數據：

創建爬蟲項目：scrapy startproject douyu

創建爬蟲文件：scrapy genspider yanzhi  douyucdn.cn

明確爬蟲目標：

import scrapy


class DouyuItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 主播名
    nick_name = scrapy.Field()
    # 房間號
    room_id = scrapy.Field()
    # 作者所在城市
    anchor_city = scrapy.Field()
    # 圖片鏈接
    image_link = scrapy.Field()
    # 文件儲存的地址
    image_path = scrapy.Field()

    source = scrapy.Field()
    utc_time = scrapy.Field()

編寫爬蟲文件：

import scrapy
import json
from douyu.items import DouyuItem


class YanzhiSpider(scrapy.Spider):
    name = 'yanzhi'
    allowed_domains = ['douyucdn.cn']
    offset = 0
    base_url = 'https://capi.douyucdn.cn**************&offset='
    start_urls = [base_url + str(offset)]

    def parse(self, response):
        node_list = json.loads(response.body.decode())["data"]

        if not node_list:
            return

        for node in node_list:
            item = DouyuItem()
            item["nick_name"] = node["nickname"]
            item["room_id"] = node["room_id"]
            item["anchor_city"] = node["anchor_city"]
            item["image_link"] = node["vertical_src"]
            yield item
        self.offset += 20
        yield scrapy.Request(url=self.base_url+str(self.offset), callback=self.parse)

編寫管道文件：

from scrapy.pipelines.images import ImagesPipeline
from douyu.settings import IMAGES_STORE
from datetime import datetime
import scrapy
import os


class ImageSource(object):
    def process_item(self, item, spider):
        item["source"] = spider.name
        item["utc_time"] = str(datetime.utcnow())
        print("**"*20)
        return item


class DouyuImagesPipeline(ImagesPipeline):

    # 發送圖片鏈接請求
    def get_media_requests(self, item, info):
        # 獲取item數據的圖片鏈接
        image_link = item["image_link"]
        print(image_link)
        # 發送圖片請求，響應默認會保存在指定路徑下
        yield scrapy.Request(url=image_link)

    def item_completed(self, results, item, info):
        # 每個result是一個圖片信息，去除圖片原來的路徑
        image_path = [x["path"] for ok, x in results if ok]
        print(results)

        # 先保存當前圖片的路徑
        old_name = IMAGES_STORE + "/" + image_path[0]
        # 更改當前圖片的路徑名字
        new_name = IMAGES_STORE + "/" + item["nick_name"] + ".jpg"
        item["image_path"] = new_name
        try:
            # 修改為新的路徑名，文件名
            os.rename(old_name, new_name)
        except Exception as e:
            print("[INFO]:圖片已經修改\n", e)
        return item

編寫下載中間件：

import random
from douyu.settings import USER_AGENTS as UA


class UserAgentMiddleware(object):

    """
        給每一次請求隨機賦值一個User_Agent
    """

    def process_request(self, request, spider):
        user_agent = random.choice(UA)
        request.headers['User_Agent'] = user_agent

配置管道和下載中間件：

IMAGES_STORE = '/home/dan/data/images'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENTS = [
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
            "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
            "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
            "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
            "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3192.0 Safari/537.36Name"
            ]



# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'douyu.middlewares.UserAgentMiddleware': 543,
}


# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'douyu.pipelines.ImageSource': 100,
    'douyu.pipelines.DouyuImagesPipeline': 200,
}

這里的有些配置在前面已經配置好了，只是在這里同一書寫。

為了方便執行與數據管理，我們創建一個py文件執行爬蟲文件，並刪除冗余的文件夾full

import os

print("開始執行爬蟲程序")
os.system("scrapy crawl yanzhi")
print("刪除多余的文件")
os.rmdir("/home/dan/data/images/full")

 

運行上面的代碼，下面展示部分結果和數據：

文件夾下保存的數據：

上面的代碼很簡單，所以沒有進行說明，如果沒有基礎還是先看看基礎吧。

有木有很心動，代碼已給，燥起來吧騷年！！！