爬虫案例-如何爬取梨视频？

一、目标

爬取梨视频-娱乐-版块下标签为‘最热’的视频，存储到本地'梨视频'目录下，视频名：视频标题.mp4

首页url：https://www.pearvideo.com/category_4

二、分析

• 首页可以提取到视频标题以及详情页url（部分）,比如：'video_1731216'，下面以该视频为例
• 进入详情页，可以从页面中查看到视频地址藏在video标签中，地址：’https://video.pearvideo.com/mp4/third/20210603/cont-1731216-10887340-153958-hd.mp4‘

• 但是通过抓包工具局部搜索无法找到该标签，所以判断是通过ajax动态加载获取到的

• 捕获到ajax请求
  • url：’https://www.pearvideo.com/videoStatus.jsp?contId=1731216&mrd=0.03291621253058907‘
  • method：GET

• 我们来回顾下整个流程:
  • 主页获取到详情页url：'video_1731216'
  • ajax请求：’https://www.pearvideo.com/videoStatus.jsp?contId=1731216&mrd=0.03291621253058907‘---mrd参数是0-1之间的一个随机数（random.random（）），需要注意的是，发送ajax请求时，需要验证请求头中的Referer参数，对应的是详情页url，否则无法获取数据
  • ajax请求返回的url：’https://video.pearvideo.com/mp4/third/20210603/1622802774696-10887340-153958-hd.mp4‘
  • 视频真实url：’https://video.pearvideo.com/mp4/third/20210603/cont-1731216-10887340-153958-hd.mp4‘
• 总结：
  • 通过主页获取详情页视频id，然后我们可以构造ajax请求:’https://www.pearvideo.com/videoStatus.jsp?contId=id&mrd=0-1之间的随机数‘
  • 发送ajax请求时注意需要携带上Referer参数，并将返回的url中时间戳替换成’cont-id‘

三、代码实现

# coding:utf-8
import requests import random import os import re from multiprocessing.dummy import Pool from fake_useragent import UserAgent from lxml import etree class LiVideoSpider: '''梨视频爬虫类'''

    def __init__(self): self.st_url = 'https://www.pearvideo.com/category_4' #首页url
        self.p = Pool(4) #创建4个线程的线程池
        self.headers = { 'ua':UserAgent().random } self.items = [] #存储视频相关信息，[{'id':'xxx','video_url':'xxx'...},...]
        self.video_path = './梨视频' #视频存储路径

    def start(self): '''爬虫入口'''
        
        #创建存储文件夹
        if not os.path.exists(self.video_path): os.mkdir(self.video_path) #获取主页数据
        response = requests.get(url=self.st_url,headers=self.headers) tree = etree.HTML(response.text) li_list = tree.xpath('//*[@id="listvideoList"]/ul/li') #解析主页数据，提取id,详情页url，视频标题
        for li in li_list: title = li.xpath('.//div[@class="vervideo-title"]/text()')[0] detail_url = li.xpath('./div/a/@href')[0] id = detail_url.split('_')[-1] item = { 'id':id, 'title':title+'.mp4', 'detail_url':detail_url } self.items.append(item) #构造每个视频ajax请求的url
        for i in range(len(self.items)): js_url = 'https://www.pearvideo.com/videoStatus.jsp?contId={}&mrd={}'.format(self.items[i]['id'],random.random()) self.items[i]['js_url'] = js_url #通过线程池异步获取每个视频的下载地址url
        items = self.p.map(self.get,self.items) #异步下载每个视频
 self.p.map(self.download,items) def get(self,item): '''获取视频下载地址'''
        
        #headers中添上Referer参数
        headers = { 'ua':UserAgent().random, 'Referer':item['detail_url'] } json_data = requests.get(url=item['js_url'],headers=headers).json() video_url = json_data["videoInfo"]["videos"]["srcUrl"] #修正视频下载地址url
        item['video_url'] = re.sub(r'16\d+-',r'cont-{}-'.format(item['id']),video_url) return item def download(self,item): '''下载视频''' video_data = requests.get(url=item['video_url'],headers=self.headers).content with open(self.video_path+'/'+item['title'],'wb') as f: f.write(video_data) if __name__ == '__main__': LiVideoSpider().start()

四、爬取结果