爬蟲之selenium 安裝與 chromedriver安裝


今天學到一個有意思的插件,就是chromedriver,在爬蟲的時候,如果網站反爬蟲做的很好,自己又很想爬去里面的數據,那就可以用這個插件,雖然笨笨的,慢的一批,但是還有別的辦法就不會用他啦,

這個東東主要是完全模擬瀏覽器點擊頁面,一步一步去找你要的東西,就跟個機器一樣,不停的去執行命令

進入正題

你要確保自己有谷歌瀏覽器,要知道版本號,找到對應的chromedriver版本號,還要有selenium模塊

使用:

直接使用pip安裝

1 pip install selenium

用 Chrome 瀏覽器來測試

運行這段代碼,會自動打開瀏覽器,然后訪問百度。

如果程序執行錯誤,瀏覽器沒有打開,那么應該是沒有裝 Chrome 瀏覽器或者 Chrome 驅動沒有配置在環境變量里。下載驅動,然后將驅動文件路徑配置在環境變量即可。

首先你需要一張對照表

chromedriver版本 支持的Chrome版本
v2.41 v67-69
v2.40 v66-68
v2.39 v66-68
v2.38 v65-67
v2.37 v64-66
v2.36 v63-65
v2.35 v62-64
v2.34 v61-63
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32

linux 安裝

chromedriver:

    將下載的文件移動到軟件應該呆的目錄去:

    sudo mv chromedriver  /usr/local/bin/chromedriver

    改變用戶執行的權限:

    sudo chmod u+x,o+x   /usr/local/bin/chromedriver

    檢驗是否正常使用:

    chromedriver --version

展示如下就是成功啦,linux 安裝還是很簡單的,用起來也方便,入文章開頭運行下,就知道啦

window安裝

下載后將文件解壓到python安裝路徑下的/Script目錄下,該文件是一個.exe的文件,Script目錄必須配置為系統的環境變量

如果再不會,百度上太多啦,我就不贅述了

之后會自己用一用,感覺挺好玩 的


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM