關於selenium添加使用代理ip


最近在爬某個網站,發現這個網站的反爬太厲害了,正常時候的訪問有時候都會給你彈出來驗證,驗證你是不是蜘蛛,而且requests發的請求攜帶了請求頭信息,cookie信息,代理ip,也能識別是爬蟲,他應該是有個ssl證書的機制,即使你關閉了也能檢測到,好厲害,所以我就想着雙管齊下,你跳出來是驗證我就selenium做驗證拿數據,你要是requests能請求到我就requests。

但是selenium也得使用代理ip,要不還不是得把你ip給你封了。從網上找了些,但是代理拿下來發現不能用,我在本地設置好的代理ip可以用,加到option參數中就不行,下面看代碼

from selenium import webdriver
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
ip = 'ip:port'
option.add_argument(('--proxy-server=' + ip))#有的博客寫的是'--proxy-server=http://',就目前我的電腦來看的話需要把http://去掉就可以用,他會自己加的
driver = webdriver.Chrome(options=option)
driver.get(url='https://www.baidu.com/s?wd=ip')

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM