python3 selenium模塊Chrome設置代理ip的實現
selenium模塊Chrome設置代理ip的實現代碼:
from selenium import webdriver chromeOptions = webdriver.ChromeOptions() # 設置代理 PROXY = "124.206.133.227:80" chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--proxy-server={0}'.format(PROXY)) # 一定要注意,=兩邊不能有空格,不能是這樣--proxy-server = 202.20.16.82:10152 browser = webdriver.Chrome(chrome_options = chromeOptions) # 查看本機ip,查看代理是否起作用 browser.get("http://httpbin.org/ip") print(browser.page_source) # 退出,清除瀏覽器緩存 browser.quit()
注意事項:
1,代理IP最好是穩定的固定IP,不要選動態IP。我們常用的爬蟲IP是高匿名動態IP,是通過撥號動態產生的,時效性很短,一般在1~3分鍾。對於scrapy這種並發度很高,又不需要登錄的爬蟲來說,非常合適,但是在瀏覽器渲染類爬蟲中並不適用。
2,代理IP的速度。因為selenium爬蟲采用的是瀏覽器渲染技術,本身速度就很慢。如果選擇的代理IP速度較慢,就會大大增加爬取的時間。
3,電腦內存要夠大。因為chrome占內存較大,在並發度很高的情況下,容易造成瀏覽器崩潰,也就是程序崩潰。
4,在程序結束時,調用 browser.quit( ) 清除瀏覽器緩存。