python爬蟲：抓取下載電影文件，合並ts文件為完整視頻

目標網站：https://www.88ys.cc/vod-play-id-58547-src-1-num-1.html 反貪風暴4

對電影進行分析

 

我們發現，電影是按片段一點點加載出來的，我們分別抓取所有ts文件，然后合並成一個完整的文件即可下載到完整電影

代碼如下：

# https://www.88ys.cc/vod-play-id-58547-src-1-num-1.html 電影地址
import requests
import os
import time
from multiprocessing import Pool

def run(i):
    url = 'https://cn1.chinapellets.com/hls/20190406/ae64c4b38a00fb989546672c7d75c660/1554536039/film_0%04d.ts'%i
    print("開始下載："+url)
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36"}
    r = requests.get(url, headers = headers)
    # print(r.content)
    with open('./mp4/{}'.format(url[-10:]),'wb') as f:
        f.write(r.content)

def merge(t,cmd):
    time.sleep(t)
    res=os.popen(cmd)
    print(res.read())



if __name__ == '__main__':
    # 創建進程池，執行10個任務
    pool = Pool(10)
    for i in range(2790):
        pool.apply_async(run, (i,)) #執行任務
    pool.close()
    pool.join()
    #調用合並
    merge(5,"copy /b mp4\\*.ts mp4\\new.mp4")
    print('ok！處理完成')

因為單個進程下載太慢了，這里用到了進程池，這樣基本達到了，最大網速

運行過程：

 

下載完成：