python3 selenium模塊Chrome設置代理ip的實現


python3 selenium模塊Chrome設置代理ip的實現

selenium模塊Chrome設置代理ip的實現代碼:

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 設置代理
PROXY = "124.206.133.227:80"
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server={0}'.format(PROXY))
# 一定要注意,=兩邊不能有空格,不能是這樣--proxy-server = 202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本機ip,查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出,清除瀏覽器緩存
browser.quit()

注意事項:
1,代理IP最好是穩定的固定IP,不要選動態IP。我們常用的爬蟲IP是高匿名動態IP,是通過撥號動態產生的,時效性很短,一般在1~3分鍾。對於scrapy這種並發度很高,又不需要登錄的爬蟲來說,非常合適,但是在瀏覽器渲染類爬蟲中並不適用。
2,代理IP的速度。因為selenium爬蟲采用的是瀏覽器渲染技術,本身速度就很慢。如果選擇的代理IP速度較慢,就會大大增加爬取的時間。
3,電腦內存要夠大。因為chrome占內存較大,在並發度很高的情況下,容易造成瀏覽器崩潰,也就是程序崩潰。
4,在程序結束時,調用 browser.quit( ) 清除瀏覽器緩存。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM