最近在爬某個網站,發現這個網站的反爬太厲害了,正常時候的訪問有時候都會給你彈出來驗證,驗證你是不是蜘蛛,而且requests發的請求攜帶了請求頭信息,cookie信息,代理ip,也能識別是爬蟲,他應該是有個ssl證書的機制,即使你關閉了也能檢測到,好厲害,所以我就想着雙管齊下,你跳出來是驗證我就selenium做驗證拿數據,你要是requests能請求到我就requests。
但是selenium也得使用代理ip,要不還不是得把你ip給你封了。從網上找了些,但是代理拿下來發現不能用,我在本地設置好的代理ip可以用,加到option參數中就不行,下面看代碼
from selenium import webdriver from selenium.webdriver import ChromeOptions option = ChromeOptions() ip = 'ip:port' option.add_argument(('--proxy-server=' + ip))#有的博客寫的是'--proxy-server=http://',就目前我的電腦來看的話需要把http://去掉就可以用,他會自己加的 driver = webdriver.Chrome(options=option) driver.get(url='https://www.baidu.com/s?wd=ip')