近期由於公司資源需要，我爬取了一個視頻網站，結果以為一個很容易的小爬蟲，卻步步是坑啊，費了一天終於都解決了（太菜了！！！）。
前面導航頁的爬蟲就不多說了，無非就是webdriver和PhantomJS,然后設置referer和ua，就可以一層一層訪問了。其實大多數的網站的防爬都會這么做。
然后到了詳情頁面，就是我遇到的最困難的一步了。網站為了防止爬蟲，嵌套了3層iframe，並且每個iframe都有很多限制，單獨打開無法得到想要的數據。
但是PhantomJS獲取到的網站源碼即使是js加載完成以后的源碼也是無法得到iframe里面的源碼的，在網上找了很多方法，然后終於找到了方法。
driver.get(url)
iframe = driver.find_elements_by_tag_name('iframe')[1]
driver.switch_to.frame(iframe) # 最重要的一步
soup = BeautifulSoup(driver.page_source, "html.parser")
1
2
3
4
最主要的就是driver.switch_to.frame(iframe) 這個方法，它會盡到iframe里面去執行，這樣的話就不需要你在去設置referer之類的了，很方便的就訪問了。到這一步大多數的iframe里面的東西就可以取到了。
但是！！！這個網站防爬還是做的比較不錯了，iframe里面的數據還是獲取不到視頻的源，js代碼都執行了。沒辦法了，最后使用webdriver.Chrome方法才獲取到了數據。看來PhantomJS還是有一些功能限制啊。
每次訪問不能一直打開瀏覽器呀，這樣在服務器也無法實現，幸好webdriver.Chrome還提供方法實現無窗口訪問，代碼就是這樣的：
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
chrome_options=chrome_options)
1
2
3
4
到此，基本的功能也實現了。
具體實現代碼如下：
# -*- coding: utf-8 -*-
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
import sys
from pyvirtualdisplay import Display
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
chrome_options=chrome_options)
def getDriverHttp(url):
driver.get(url)
iframe = driver.find_elements_by_tag_name('iframe')[1]
driver.switch_to.frame(iframe) # 最重要的一步
soup = BeautifulSoup(driver.page_source, "html.parser")
return soup
def getVideoUrl(url):
soup = getHttp(url)
miPlayer = soup.find('div',id='J_miPlayer')
url = miPlayer.find('video').get('src')
driver.quit()
return url
if __name__ == '__main__':
path = getVideoUrl(u'http://aaxxy.com/vod-play-id-10788-src-1-num-2.html')
# path = getVideoUrl(url==sys.argv[1])
print path
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
最后才發現代碼真的非常非常少，結果費了一天的功夫才解決。記錄一下，提醒一下自己有多菜。
---------------------
作者：Sunanang
來源：CSDN
原文：https://blog.csdn.net/sun_lianqiang/article/details/79402512
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！