動態渲染頁面爬取-Selenium & Splash

模擬瀏覽器的動機

• JS動態渲染的頁面不止Ajax一種
• 很多網頁的Ajax接口含有加密參數，分析其規律的成本過高

通過對瀏覽器運行方式的模擬，我們將做到：可見即可爬
Python中常用的模擬瀏覽器運行的庫為Selenium和Splash

Splash

• 一個很不錯的介紹：https://www.jianshu.com/p/2b04f5eb5785
• 官方文檔：https://splash.readthedocs.io/en/stable/api.html

Selenium

Selenium是一個自動化測試工具，可以用來控制瀏覽器行為

1. QuickStart：https://seleniumhq.github.io/selenium/docs/api/py/
2. 完整文檔：https://www.seleniumhq.org/docs/
3. Python接口：https://seleniumhq.github.io/selenium/docs/api/py/api.html

常用接口：

• webdriver
• action_chains
• webelement