今天學到一個有意思的插件,就是chromedriver,在爬蟲的時候,如果網站反爬蟲做的很好,自己又很想爬去里面的數據,那就可以用這個插件,雖然笨笨的,慢的一批,但是還有別的辦法就不會用他啦,
這個東東主要是完全模擬瀏覽器點擊頁面,一步一步去找你要的東西,就跟個機器一樣,不停的去執行命令
進入正題
你要確保自己有谷歌瀏覽器,要知道版本號,找到對應的chromedriver版本號,還要有selenium模塊
使用:
直接使用pip安裝
1 pip install selenium
用 Chrome 瀏覽器來測試
1 from selenium import webdriver 2 3 browser = webdriver.Chrome() 4 browser.get('http://www.baidu.com/')
運行這段代碼,會自動打開瀏覽器,然后訪問百度。
如果程序執行錯誤,瀏覽器沒有打開,那么應該是沒有裝 Chrome 瀏覽器或者 Chrome 驅動沒有配置在環境變量里。下載驅動,然后將驅動文件路徑配置在環境變量即可。
首先你需要一張對照表
chromedriver版本 | 支持的Chrome版本 |
---|---|
v2.41 | v67-69 |
v2.40 | v66-68 |
v2.39 | v66-68 |
v2.38 | v65-67 |
v2.37 | v64-66 |
v2.36 | v63-65 |
v2.35 | v62-64 |
v2.34 | v61-63 |
v2.33 | v60-62 |
v2.32 | v59-61 |
v2.31 | v58-60 |
v2.30 | v58-60 |
v2.29 | v56-58 |
v2.28 | v55-57 |
v2.27 | v54-56 |
v2.26 | v53-55 |
v2.25 | v53-55 |
v2.24 | v52-54 |
v2.23 | v51-53 |
v2.22 | v49-52 |
v2.21 | v46-50 |
v2.20 | v43-48 |
v2.19 | v43-47 |
v2.18 | v43-46 |
v2.17 | v42-43 |
v2.13 | v42-45 |
v2.15 | v40-43 |
v2.14 | v39-42 |
v2.13 | v38-41 |
v2.12 | v36-40 |
v2.11 | v36-40 |
v2.10 | v33-36 |
v2.9 | v31-34 |
v2.8 | v30-33 |
v2.7 | v30-33 |
v2.6 | v29-32 |
v2.5 | v29-32 |
v2.4 | v29-32 |
linux 安裝
chromedriver:
將下載的文件移動到軟件應該呆的目錄去:
sudo mv chromedriver /usr/local/bin/chromedriver
改變用戶執行的權限:
sudo chmod u+x,o+x /usr/local/bin/chromedriver
檢驗是否正常使用:
chromedriver --version
展示如下就是成功啦,linux 安裝還是很簡單的,用起來也方便,入文章開頭運行下,就知道啦
window安裝
下載后將文件解壓到python安裝路徑下的/Script目錄下,該文件是一個.exe的文件,Script目錄必須配置為系統的環境變量
如果再不會,百度上太多啦,我就不贅述了
之后會自己用一用,感覺挺好玩 的