selenium-java爬蟲實現

推薦的網站學習網站

　　1.官方文檔　　http://www.seleniumhq.org/docs/

　　2.selenium多線程　　http://www.cnblogs.com/dingmy/p/3438084.html

Selenium Standalone Server

搭建RC環境

　　1.下載Selenium Standalone Server（http://www.seleniumhq.org/download/）

　　2.下載Chrome Drivers,與selenium-server-standalone.jar包放在同目錄（http://www.seleniumhq.org/download/）

啟動hub

　　1.打開終端，切換到selenium-server-standalone所在的目錄

　　2.執行java -jar selenium-server-standalone-3.2.0.jar -role hub -maxSession 40 -port 4444

 　  3.啟動成功時，提示信息信息如圖

                                       

     參數說明：

        maxSession最大會話數

        port 監聽端口，默認4444，如果監聽端口被其他程序占用，程序無法啟動成功（可自定義）

啟動node

     打開終端，切花對應目錄

         1.執行java -Dwebdriver.chrome.driver=D:\chromeDriver\chrodriver.exe -jar selenium-server-standalone-3.2.0.jar -role node -hub http://(自己的ip):4444/grid/register -maxSession 20 -browser "browser=chrome,maxInstances=20" -port 5555

     參數說明：

        -Dwebdriver.chrome.driver chrome驅動

        -hub hub服務器地址

        -browser 設置瀏覽器參數，最大進程數

        -maxSession 最大會話數，注意分支node上的最大會話數不能超過hub服務器上定義的最大會話數

        -port 監聽端口，默認5555

調用RC

     DesiredCapabilities capabilities = DesiredCapabilities.chrome();

     WebDriver driver = new RemoteWebdriver(new URL(new URL("http://192.168.199.146:4444/wd/hub")),capabilities);

要在代碼中始終selenium工具，需要在maven配置中添加依賴

<dependency>

     <groupId>org.seleniumhq.selenium</groupId>

     <artifactId>selenium-java</artifactId>

     <version>3.2.0</version>

</dependency>

注意：最后選用最好都使用最新版本，因為要和瀏覽器兼容（曾經踩過的坑）。