Java 實現 HttpClients+jsoup，Jsoup，htmlunit，Headless Chrome 爬蟲抓取數據

最近整理一下手頭上搞過的一些爬蟲，有HttpClients+jsoup，Jsoup，htmlunit，HeadlessChrome

一、HttpClients+jsoup，這是第一代比較low，很快就被第二代代替了！

二、Jsoup

需要的jar包：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.3</version>
</dependency>

代碼如下：

// 請求超時時間，30秒
    public static final int TIME_OUT = 30*1000;
    // 模擬瀏覽器請求頭信息
    public static Map<String,String> headers = new HashMap<String,String>();
    static{
        headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0");
        headers.put("Accept", "text/html");
        headers.put("Accept-Language", "zh-CN,zh");
    }
    
    //根據url獲取html文檔
    protected Document getDoc(String url) throws IOException{
        if(logger.isDebugEnabled())
            logger.debug(url);
        //新建一個連接
        Connection conn = Jsoup.connect(url).timeout(TIME_OUT);
        conn = conn.headers(headers);
        conn = conn.proxy(Proxy.NO_PROXY);
        Document doc = conn.get();
        
        if(logger.isTraceEnabled()){
            logger.trace("["+url+"]\n"+doc);
        }
        return doc;
    }

 

public static final String CHINAZ_ICP_URL = "http://icp.chinaz.com/?type=host&s=%s";
public List<String> doHandler(String domain) {
        List<String> results = new ArrayList<String>();
        String url = String.format(CHINAZ_ICP_URL, domain);
        Document doc;
        try {
            doc = this.getDoc(url);
            // 獲取當前頁ICP信息所在標簽
            Elements eles = doc.select("ul.IcpMain01>li:lt(7)>p");
                        
            if(null == eles || eles.isEmpty()){
                return results;
            }
            //獲取ICP信息
            for (Element element : eles) {
                //當前元素為認證信息時，跳過
                if("safe".equals(element.attr("id"))){
                    continue;
                }
                Node firstNode = element.childNode(0);
                if(firstNode.childNodeSize() > 0){
                    results.add(element.child(0).text());
                }else{
                    results.add(((TextNode)firstNode).text());
                }
            }
        } catch (IOException e) {
            logger.error("get Chinaz ICP message error :",e);
        }
        doc = null;
        return results;
    }  

參考Jsoup的文檔：鏈接http://www.open-open.com/jsoup/

Jsoup不支持xpath解析，這個很蛋疼，但是有人去搞個一個支持xpath的東西---JsoupXpath，鏈接https://www.cnblogs.com/wanghaomiao/p/4899355.html，有興趣的網友可以自己嘗試一下！

三、htmlunit

支持Xpath解析，能夠模擬瀏覽器動作，比如點擊下一頁，加載更多等等功能。文檔鏈接：http://htmlunit.sourceforge.net/

需要的jar包

<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.18</version>
</dependency>

代碼如下：

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.TopLevelWindow;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlTableRow;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;


public class UrlTest {

    public static void main(String[] args) {
        BaseCollector baseCollector = new BaseCollector();
        WebClient webClient = baseCollector.getWebClient();
        String url="http://htmlunit.sourceforge.net/";
        HtmlPage homePage= null;
        try {
            homePage = webClient.getPage(url);
            if (homePage != null && homePage instanceof HtmlPage) {
                homePage.getEnclosingWindow().setName("IpHomePage");
                System.out.println("打開 IPHomePage ");
                System.out.println("內容是：    "+homePage.getBody().getTextContent());

                List<HtmlTableRow> htmlTableRows = (List<HtmlTableRow>) homePage.getByXPath("/html/body/pre");
                if (htmlTableRows != null && htmlTableRows.size() > 0) {
                    for (int i = 0; i < htmlTableRows.size(); i++) {
                        HtmlTableRow htmlTableRow = htmlTableRows.get(i);
                        //日期
                        String firstTime = htmlTableRow.getCell(0).getTextContent().trim();
                        System.out.println(firstTime);
                    }

                }
                closeWindowByName(webClient, "IPHomePage");
                System.out.println("關閉 IPHomePage ");
            }
            webClient.close();

        } catch (IOException e) {
            System.out.println(e.getMessage()+" ===="+e);
        }catch (FailingHttpStatusCodeException e){
            System.out.println(e.getMessage()+" ===="+e);
        }
        System.out.println("內容是：    "+homePage.getBody().getTextContent());
    }

    public static void closeWindowByName(WebClient webClient, String name){
        List<TopLevelWindow> list = webClient.getTopLevelWindows();
        List windowNames = new ArrayList();
        for (int j = 0; j < list.size(); j++) {
            if(list.get(j).getName().equals(name)){
                list.get(j).close();
            }
            windowNames.add(list.get(j).getName());
        }
        System.out.println("當前窗口 ： {}"+list.toString());
    }
}

  

四、HeadlessChrome

1，Headless Chrome 與PhantomJS對比

在 Chrome 未提供原生 Headless 模式前，Web 開發者可以使用 PhantomJS 等第三方 Headless 瀏覽器。現在官方准備提供 Headless 了，PhantomJS 維護者 Vitaly Slobodin 隨即在郵件列表上宣布辭職。另一個流行瀏覽器 Firefox 也准備提供 Headless 模式。

 

2，什么是Headless Chrome

Headless Chrome 是 Chrome 瀏覽器的無界面形態，可以在不打開瀏覽器的前提下，使用所有 Chrome 支持的特性運行你的程序。相比於現代瀏覽器，Headless Chrome 更加方便測試 web 應用，獲得網站的截圖，做爬蟲抓取信息等。

 

3，環境配置

首先需要下載chrome-driver，不同版本的Chrome對應不同的Chrome-driver，大家可以通過這鏈接下載對應的Chrome-driver       http://npm.taobao.org/mirrors/chromedriver/

支持各種elements的獲取，List<WebElement> elements = driver.findElements(By.xpath("//*[@id=\"body\"]/ul[2]/li"));

可以模擬瀏覽器的各種動作，driver.findElement(By.linkText("下一頁")).click();

使用Python來搞HeadlessChrome更方便簡單，簡直爽翻天。。。。。鏈接：https://blog.csdn.net/u010986776/article/details/79266448

大家可以參考一下

需要的jar包：

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-chrome-driver</artifactId>
    <version>3.11.0</version>
</dependency>

代碼如下：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

import java.util.List;
import java.util.concurrent.TimeUnit;

/**
 * Created by sqy on 2018/5/2.
 */
public class HeadlessChromeTest {

    public static void main(String args[]) {



        //G:\chromedriver
        System.setProperty("webdriver.chrome.driver","G:\\chromedriver\\chromedriver.exe");
        ChromeOptions chromeOptions = new ChromeOptions();
//        設置為 headless 模式 （必須）
        chromeOptions.addArguments("--headless");
//        設置瀏覽器窗口打開大小  （非必須）
        chromeOptions.addArguments("--window-size=1920,1080");
        WebDriver driver = new ChromeDriver(chromeOptions);
        driver.get("https://lvyou.baidu.com/scene/s-feb/");

        System.out.println("url: "+driver.getCurrentUrl());

        for(int i=0;i<12;i++){
            try {
                /**
                 * WebDriver自帶了一個智能等待的方法。
                 dr.manage().timeouts().implicitlyWait(arg0, arg1）；
                 Arg0：等待的時間長度，int 類型 ；
                 Arg1：等待時間的單位 TimeUnit.SECONDS 一般用秒作為單位。
                 */
                driver.manage().timeouts().implicitlyWait(3, TimeUnit.SECONDS);
            } catch (Exception e) {
                e.printStackTrace();
            }
            //點擊按鈕
            driver.findElement(By.linkText("下一頁")).click();
            List<WebElement> elements = driver.findElements(By.xpath("//*[@id=\"body\"]/ul[2]/li"));
            for (WebElement el:elements) {
                System.out.println(el.getText());
            }
            System.out.println("url: "+driver.getCurrentUrl());
        }

        /**
         * dr.quit()和dr.close()都可以退出瀏覽器,簡單的說一下兩者的區別：第一個close，
         * 如果打開了多個頁面是關不干凈的，它只關閉當前的一個頁面。第二個quit，
         * 是退出了所有Webdriver所有的窗口，退的非常干凈，所以推薦使用quit最為一個case退出的方法。
         */
        driver.quit();


    }
}

HeadlessChrome的webdriver是在selenium里面的所以很多功能可以通過查詢java selenium 功能來查找自己想要實現的功能！

例如截屏功能

  //截圖
        File scrFile = ((TakesScreenshot) driver).getScreenshotAs(OutputType.FILE);
        try {
            String savePath = "H:\\bbb\\screenshot.png";
            //復制內容到指定文件中
            FileUtils.copyFile(scrFile, new File(savePath));
        } catch (Exception e) {
            e.printStackTrace();
        }

 

----------------------------------------------------若有不正之處，請諒解和批評指正，不勝感激！！！！！