實戰背景
愛奇藝的VIP視頻只有會員能看，普通用戶只能看前6分鍾。比如加勒比海盜5：
URL：http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1
我們怎么免費看VIP視頻呢？一個簡單的方法，就是通過旋風視頻VIP解析網站。
URL：http://api.xfsub.com/
這個網站為我們提供了免費的視頻解析，它的通用解析方式是：
http://api.xfsub.com/index.php?url=[播放地址或視頻id]
比如，對於綉春刀這個電影，我們只需要在瀏覽器地址欄輸入：
http://api.xfsub.com/index.php?url=http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1
這樣，我們就可以在線觀看這些VIP視頻了：
但是這個網站只提供了在線解析視頻的功能，沒有提供下載接口，如果想把視頻下載下來，我們就可以利用網絡爬蟲進行抓包，將視頻下載下來。
實戰升級
分析方法相同，我們使用Fiddler進行抓包：
我們可以看到，有用的請求並不多，我們逐條分析。我們先看第一個請求返回的信息。
可以看到第一個請求是GET請求，沒有什么有用的信息，繼續看下一條。
我們看到，第二條GET請求地址變了，並且在返回的信息中，我們看到，這個網頁執行了一個POST請求。POST請求是啥呢？它跟GET請求正好相反，GET是從服務器獲得數據，而POST請求是向服務器發送數據，服務器再根據POST請求的參數，返回相應的內容。這個POST請求有四個參數，分別為time、key、url、type。記住這個有用的信息，我們在抓包結果中，找一下這個請求，看看這個POST請求做了什么。
很顯然，這個就是我們要找的POST請求，我們可以看到POST請求的參數以及返回的json格式的數據。其中url存放的參數如下：
xfsub_api\/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http%3A%2F%2Fwww.iqiyi.com%2Fv_19rr7qhfg0.html&type=&xml=1
這個信息有轉義了，但是沒有關系，我們手動提取一下，變成如下形式：
xfsub_api/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1
我們已經知道了這個解析視頻的服務器的域名，再把域名加上：
http://api.xfsub.com/xfsub_api\url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1
這里面存放的是什么東西？不會視頻解析后的地址吧？我們有瀏覽器打開這個地址看一下：
我們再打開這個視頻地址：
瞧，我們就這樣得到了這個視頻在服務器上的緩存地址。根據這個地址，我們就可以輕松下載視頻了。
PS：需要注意一點，這些URL地址，都是有一定時效性的，很快就會失效，因為里面包含時間信息。所以，各位在分析的時候，要根據自己的URL結果打開網站才能看到視頻。
接下來，我們的任務就是編程實現我們所分析的步驟，根據不同的視頻播放地址獲得視頻存放的地址。
現在梳理一下編程思路：
-
用正則表達式匹配到key、time、url等信息。
-
根據匹配的到信息發POST請求，獲得一個存放視頻信息的url。
-
根據這個url獲得視頻存放的地址。
-
根據最終的視頻地址，下載視頻。
編寫代碼
編寫代碼的時候注意一個問題，就是我們需要使用requests.session()保持我們的會話請求。簡單理解就是，在初次訪問服務器的時候，服務器會給你分配一個身份證明。我們需要拿着這個身份證去繼續訪問，如果沒有這個身份證明，服務器就不會再讓你訪問。這也就是這個服務器的反爬蟲手段，會驗證用戶的身份。
#-*- coding:UTF-8 -*-
import requests,re, json
from bs4 import BeautifulSoup
class video_downloader():
def __init__(self, url):
self.server = 'http://api.xfsub.com'
self.api = 'http://api.xfsub.com/xfsub_api/?url='
self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
self.url = url.split('#')[0]
self.target = self.api + self.url
self.s = requests.session()
"""
函數說明:獲取key、time、url等參數
Parameters:
無
Returns:
無
Modify:
2017-09-18
"""
def get_key(self):
req = self.s.get(url=self.target)
req.encoding = 'utf-8'
self.info = json.loads(re.findall('"url.php",\ (.+),', req.text)[0]) #使用正則表達式匹配結果，將匹配的結果存入info變量中
"""
函數說明:獲取視頻地址
Parameters:
無
Returns:
video_url - 視頻存放地址
Modify:
2017-09-18
"""
def get_url(self):
data = {'time':self.info['time'],
'key':self.info['key'],
'url':self.info['url'],
'type':''}
req = self.s.post(url=self.get_url_api,data=data)
url = self.server + json.loads(req.text)['url']
req = self.s.get(url)
bf = BeautifulSoup(req.text,'xml') #因為文件是xml格式的，所以要進行xml解析。
video_url = bf.find('file').string #匹配到視頻地址
return video_url
if __name__ == '__main__':
url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
vd = video_downloader(url)
vd.get_key()
print(vd.get_url())
思路已經給出，希望喜歡爬蟲的人可以在運行下代碼之后，自己重頭編寫程序，因為只有經過自己分析和測試之后，才能真正明白這些代碼的意義。上述代碼運行結果如下：
我們已經順利獲得了mp4這個視頻文件地址。根據視頻地址，使用urllib.request.urlretrieve()即可將視頻下載下來。編寫代碼如下：
#-*- coding:UTF-8 -*-
import requests,re, json, sys
from bs4 import BeautifulSoup
from urllib import request
class video_downloader():
def __init__(self, url):
self.server = 'http://api.xfsub.com'
self.api = 'http://api.xfsub.com/xfsub_api/?url='
self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
self.url = url.split('#')[0]
self.target = self.api + self.url
self.s = requests.session()
"""
函數說明:獲取key、time、url等參數
Parameters:
無
Returns:
無
Modify:
2017-09-18
"""
def get_key(self):
req = self.s.get(url=self.target)
req.encoding = 'utf-8'
self.info = json.loads(re.findall('"url.php",\ (.+),', req.text)[0]) #使用正則表達式匹配結果，將匹配的結果存入info變量中
"""
函數說明:獲取視頻地址
Parameters:
無
Returns:
video_url - 視頻存放地址
Modify:
2017-09-18
"""
def get_url(self):
data = {'time':self.info['time'],
'key':self.info['key'],
'url':self.info['url'],
'type':''}
req = self.s.post(url=self.get_url_api,data=data)
url = self.server + json.loads(req.text)['url']
req = self.s.get(url)
bf = BeautifulSoup(req.text,'xml') #因為文件是xml格式的，所以要進行xml解析。
video_url = bf.find('file').string #匹配到視頻地址
return video_url
"""
函數說明:回調函數，打印下載進度
Parameters:
a b c - 返回信息
Returns:
無
Modify:
2017-09-18
"""
def Schedule(self, a, b, c):
per = 100.0*a*b/c
if per > 100 :
per = 1
sys.stdout.write(" " + "%.2f%% 已經下載的大小:%ld 文件大小:%ld" % (per,a*b,c) + '\r')
sys.stdout.flush()
"""
函數說明:視頻下載
Parameters:
url - 視頻地址
filename - 視頻名字
Returns:
無
Modify:
2017-09-18
"""
def video_download(self, url, filename):
request.urlretrieve(url=url,filename=filename,reporthook=self.Schedule)
if __name__ == '__main__':
url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
vd = video_downloader(url)
filename = '加勒比海盜5'
print('%s下載中:' % filename)
vd.get_key()
video_url = vd.get_url()
print(' 獲取地址成功:%s' % video_url)
vd.video_download(video_url, filename+'.mp4')
print('\n下載完成！')urlretrieve()有三個參數，第一個url參數是視頻存放的地址，第二個參數filename是保存的文件名，最后一個是回調函數，它方便我們查看下載進度。代碼量不大，很簡單，主要在於分析過程。代碼運行結果如下：
下載速度挺快的，幾分鍾視頻下載好了。
對於這個程序，感興趣的朋友可以進行擴展一下，設計出一個小軟件，根據用戶提供的url，提供PC在線觀看、手機在線觀看、視頻下載等功能。
總結
-
本次Chat講解的實戰內容，均僅用於學習交流，請勿用於任何商業用途！
-
爬蟲時效性低，同樣的思路過了一個月，甚至一周可能無法使用，但是爬取思路都是如此，完全可以自行分析。
-
本次實戰代碼，均已上傳我的Github，歡迎Follow、Star：https://github.com/Jack-Cherish/python-spider
-
如有問題，請留言。如有錯誤，還望指正，謝謝！
-
在講解視頻抓包之前，先介紹下兩個視頻解析網站：
- VIP視頻解析：http://www.vipjiexi.com/
- 無名小站：http://www.wmxz.wang/
這兩個網站為我們提供了免費的視頻解析，他們的通用解析方式是：
VIP視頻解析：
http://www.vipjiexi.com/tong.php?url=[播放地址或視頻id]
無名小站：http://www.wmxz.wang/video.php?url=[播放地址或視頻id]