講起動態網頁獲取我們一定會用到selenium,至於selenium在各種語言的開發代碼很多,但是在我們興致勃勃找了很多代碼,要運行的時候,編譯器只會給我們拋出異常,因為我們沒有配置好環境。下面我將為大家介紹我在配置selenium環境的做法。
Chrome
首先我們從Chrome瀏覽器的配置說起:
Chrome瀏覽器的根據其版本分為很多中,當我們點開Chromediver download 頁就懵逼了,這么多驅動我們應該下載那個呢,chromedriver對應的Chrome版本可以查看到你的chrome應該下載那個驅動。
谷歌瀏覽器下載地址:
- http://www.slimjet.com/chrome/google-chrome-old-version.php
- http://google_chrome.en.downloadastro.com/old_versions/
- http://filehippo.com/zh/download_google_chrome/
- http://www.chromedownloads.net/
使用mac本的可以使用:chrome-to-mac in uptodown
chromedriver下載地址: http://chromedriver.storage.googleapis.com/index.html
在解決了驅動的問題之后,那我們應該把驅動放在那個位置,才能讓我們的程序直接調用chromedriver呢。chromedriver放在python的根路徑下,python也可以直接調用驅動。如果你已經配置好了,那我們就來運行下面的代碼,獲取python官方網站的源碼把:
1 # encoding:utf-8 2 # Author:"richie" 3 # Date:8/16/2017 4 5 from selenium import webdriver 6 url='https://www.python.org/' 7 driver = webdriver.Firefox() 8 driver.get(url) 9 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 10 html_source = driver.page_source 11 driver.quit() 12 print(html_source)
當然你也可以放放置在其他地方,把路徑加進來就好了,比如放在C盤的根路徑:
1 # encoding:utf-8 2 # Author:"richie" 3 # Date:8/16/2017 4 5 from selenium import webdriver 6 url='https://www.python.org/' 7 #引入chromedriver.exe 8 chromedriver = "C:\chromedriver.exe" 9 driver = webdriver.Chrome(chromedriver) 10 driver.get(url) 11 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 12 html_source = driver.page_source 13 driver.quit() 14 print(html_source)
FireFox
firefox的配置沒有chrome那么麻煩,但是FireFox打開速度相對要慢一丟丟,驅動下載鏈接Firefox的驅動geckodriver 下載地址:https://github.com/mozilla/geckodriver/releases/
配置方法和chrome一樣,火狐各個版本下載地址。
1 from selenium import webdriver 2 3 browser = webdriver.Firefox() 4 browser.get('http://www.baidu.com/')
IE瀏覽器
IE的驅動IEdriver 下載地址:http://www.nuget.org/packages/Selenium.WebDriver.IEDriver/
from selenium import webdriver browser = webdriver.Ie() browser.get('http://www.baidu.com/')
補充:
所有版本selenium以及IEDriverServer下載
當然還有selenium和IEDriverServer,Python版的selenium直接pip就可以了,下面的鏈接里主要是Java版的和.NET版的
