如何利用python爬蟲爬取愛奇藝VIP電影？

環境：windows    python3.7

思路：

1、先選取你要爬取的電影

2、用vip解析工具解析，獲取地址

3、寫好腳本，下載片斷

4、將片斷利用電腦合成

需要的python模塊：

##第一個模塊不要安裝，第二個模塊需要安裝

1、from multiprocessing import Pool

2、import requests

##模塊安裝方法

用windows命令行終端

pip install requests

 

一、先選取你要爬的電影,本例隨便找了個VIP電影，復制地址

 

二、用vip解析工具解析，獲取地址

 （一）進行上網搜索，點擊VIP解析

 

 

 

（二）、粘貼電影地址，點擊播放

 

 

（三）、按下F12或者右擊點檢查，進入開發者工具界面，點擊網絡，復制地址

 

 

三、寫好腳本，利用爬蟲下載片斷

##描述：該腳本目前適合下載愛奇藝，騰迅視頻VIP視頻
##作者：小劉
##電話：有事請寫評論
##注意：只適全python爬蟲的學習者，不適合專門去看電影的愛好者
##導入的兩個模塊，其中requests模塊需要自行下載
from multiprocessing import Pool
import requests
##定義一個涵數
def demo(i):
    ##定義了一個url,后面%3d就是截取后面三位給他加0，以防止i的參數是1的時候參數對不上號，所以是1的時候就變成了001
    url="https://vip.okokbo.com/20180114/ArVcZXQd/1000kb/hls/phJ51837151%03d.ts"%i
    ##定義了請求頭信息
    headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36"}
    ##構建自定義請求對象
    req=requests.get(url,headers=headers)
    ##將文件保存在當前目錄的mp4文件中，名字以url后十位數起名
    with open('./mp4/ {}'.format(url[-10:]), 'wb') as f:
        f.write(req.content)

##程序代碼的入口
if __name__=='__main__':
    ##定義一個進程池，可以同時執行二十個任務，不然一個一個下載太慢
    pool = Pool(20)
    ##執行任務的代碼
    for i in range(100):
        pool.apply_async(demo, (i,))

    
    pool.close()
    pool.join()

 

 四、將片斷利用電腦合成

（一）、復制電影存放的路徑

 

 （二）、用進入windows命令行模式，粘貼地址

 

 

 

 (三)、復制該目錄下所有以*.ts結尾的文件，復制成一個文件

 

 

 

 （四）、進行合並

 

 

 

（五）、進行驗證

 

（

 

 

 

五、有疑問請留言