《python3網絡爬蟲開發實戰》--動態渲染頁面爬取

Ajax可以對JS進行渲染，但有些直接通過JS來渲染，例如淘寶，許多圖形是通過JavaScript計算之后形成的，里面的Ajax接口含有許多加密參數，無法找到規律，像Echarts

1. selenium

Selenium是一個 自動化測試工具，利用它可以驅動瀏覽器執行特定的動作，如點擊、下拉等操作，同時還可以獲取瀏覽器當前呈現的頁面的源代碼，做到可見即可爬

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver import ActionChains
import time

browser = webdriver.Chrome()

'''
#訪問百度，並查詢python
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

#訪問淘寶
#單個節點
browser.get('http://www.taobao.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first, input_second, input_third)
#print(browser.page_source)
browser.close()
'''

'''
#多個節點
import time
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(1)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()
'''

'''
#動作鏈
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to_frame('iframeResult')
#source = browser.find_element_by_css_selector('#draggable')
#target = browser.find_element_by_css_selector('#droppable')
#actions =ActionChains(browser)
#actions.drag_and_drop(source, target)
#actions.perform()

#切換Frame
# Selenium打開頁面后，它默認是在父級 Frame里面操作，
# 而此時如果頁面中 還有子 Frame，它是不能獲取到子 Frame里面的節點的 。 
# 這時就需要使用 switch_to.frame()方法來切 換 Frame。
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)
'''

'''
#獲取js
browser =webdriver.Chrome()
browser.get('http://www.zhihu.com/explore')
#browser.execute_script('window.scrollTo(0, ducument.body.scrollHeight)')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')
'''

'''
#獲取節點信息
browser =webdriver.Chrome()
url = 'http://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
input = browser.find_element_by_class_name('zu-top-link-logo')

print(logo)
print(logo.get_attribute('class'))
print(input.text)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)
print(input.text)
'''

'''
#延時等待
#隱式等待
#使用隱式等待執行測試的時候，
#如果 Selenium沒有在 DOM 中找到節點，將繼續等待，
#超出設定時間后，則拋什1找不到節點的異常。
#browser = webdriver.Chrome()
#browser.implicitly_wait(10)
#browser.get('http://www.zhihu.com/explore')
#input = browser.find_element_by_class_name('zu-top-add-question')
#print(input)
#顯式等待
#它指定要查找的節點，然后指定一個最長等待時間。
#如果 在規定時間內加載出來了這個節點，就返回查找的節點；
#如果到了規定時間依然沒有加載出該節點，則拋陽超時異常。
browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
#until傳入等待條件
#presence_of_element_located代表節點出現
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))#節點定義為元組，所以是兩對括號
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)
'''

'''
#前進后退
browser.get('http://www.zhihu.com/explore')
browser.get('http://www.taobao.com')
browser.get('http://www.python.com')
browser.back()
time.sleep(1)
browser.forward()
browser.close()
'''

#'''
#cookies
browser.get('http://www.zhihu.com/explore')
print(browser.get_cookies())
print('--------------------------------------------------------------')
browser.add_cookie({
    'name': 'name',
    'domain': 'www.zhihu.com',
    'value': 'germey'
})
print(browser.get_cookies())
print('--------------------------------------------------------------')
browser.delete_all_cookies()
print(browser.get_cookies())
#'''

 

2. splash:

Splash是一個 JavaScript渲染服務，是一個帶有 HTTPAPI 的輕量級瀏覽器，同時它對接了 Python中的Twisted和QT庫。 利用它，我們同樣可以實現動態誼染頁面的抓取。

• 異步方式處理多個網頁渲染過程 ;
• 獲取渲染后的頁面的源代碼或截圖;
• 通過關閉圖片渲染或者使用 Adblock規則來加快頁面渲染速度;口 可執行特定的 JavaScript腳本;
• 可通過 Lua腳本來控制頁面渲染過程;
• 獲取渲染的詳細過程並通過 HAR ( HTTP Archive )格式呈現。