一、前言
最近在幫一個老師爬取網頁內容,發現網頁是動態加載的,為了拿到全部的網頁數據,這里使用到了Selenium。Selenium 是一個用於Web應用程序測試的工具,它可以模擬真實瀏覽器,支持多種瀏覽器,而且是直接運行在瀏覽器中,就像真正的用戶在操作一樣。
環境:win10 64位 + python3.6 + chrome 78.0.3904.108 64位
二、安裝
注:以下安裝配置皆是參考博主自身的系統環境設置的
1.python安裝selenium命令:
pip install selenium
2.下載chromedriver.exe
chromedriver.exe文件是調用chrome的驅動文件,各種版本的谷歌瀏覽器相對應的不同的chromedriver,所以這里一定要根據自己chrome版本選擇正確的chromedriver。chromedriver的下載地址:http://chromedriver.storage.googleapis.com/index.html
比如,我的chrome版本是 78.0.3904.108,如下:
那么,我選擇的chromedriver版本就如下所示:(這上面並沒有78.0.3904.108,所以我只要選擇比這個版本高一點的就OK,明顯 78.0.3904.105 版本是比108低,而 78.0.3904.11才是合適的)
選擇 chromedriver_win32.zip 進行下載
3. 將下載的chromedriver.exe 放到chrome的安裝目錄下,如下所示:
4.設置系統環境變量,將chrome的路徑添加到 Path 中,如下所示:
三、基本使用
上述Selenium環境安裝配置好后,就可以寫python程序進行測試了
測試代碼如下:
from selenium import webdriver # 打開chrome瀏覽器(需提前安裝好chromedriver) browser = webdriver.Chrome() print("正在打開網頁...") browser.get("http://www.baidu.com")
效果如下: