java網絡爬蟲-利用phantomjs和jsoup爬取動態ajax加載頁面

java基於windows爬取ajax加載的動態頁面需要一定的輔助工具支持，本文爬取ajax加載的動態頁面所使用的工具是phantomJS(關於phantomJS的介紹百度一大堆)

首先下載phantomJS；下載地址：https://phantomjs.org/download.html

下載之后解壓文件，為了后面方便使用建議單獨放在一個文件夾里面，例如我這邊是放在F盤下面單獨的文件夾phantomjs,然后進入phantomjs--bin點擊運行phantomjs.exe，出現一下界面：

即表示可以正常運行js代碼了。（如果要經常使用建議配置path環境）

接下來就是爬取頁面了。

首先需要寫一個js（例：parser.js）：

system = require('system')
address = system.args[1];
var page = require('webpage').create();
var url = address;

page.settings.resourceTimeout = 1000*10; // 10 seconds
page.onResourceTimeout = function(e) {
    console.log(page.content);
    phantom.exit(1);
};

page.open(url, function (status) {
    //Page is loaded!
    if (status !== 'success') {
        console.log('Unable to post!');
    } else {
        console.log(page.content);
    }
    phantom.exit();
});

然后是java代碼（我的parser.js是放在F盤下面的）：

//讀取動態頁面
    public static String dynamicHtml(String url){
        Runtime rt = Runtime.getRuntime();
        Process process = null;
        String html = "";
        try {
            process = rt.exec("F:\\phantomjs\\bin\\phantomjs.exe F:/parser.js " +url);
            InputStream in = process.getInputStream();
            InputStreamReader reader = new InputStreamReader(in, "UTF-8");
            BufferedReader br = new BufferedReader(reader);
            String tmp = "";
            while ((tmp = br.readLine()) != null) {
                html = html + tmp;
            }
            br.close();
            reader.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return html;
    }

處理邏輯（利用Jsoup爬取）：

public static void ReadAjaxDynamicHtml(String htmlUrl){
        String imageHtml = dynamicHtml(htmlUrl);
        Document imageDoc = Jsoup.parse(imageHtml);
        //如果選擇其中部分元素 有class就用：
        //Elements childrenImg = imageDoc.select(".class");
        //System.err.println(childrenImg.html());
        //System.err.println(childrenImg.text());
        //如果選擇其中部分標簽 比如img：
        //Elements childrenImg = imageDoc.select("img");
        System.err.println(imageDoc);
        /* 接下來的處理邏輯 */
        // ...
    }

main方法調用示例：

public static void main(String[] args) {
        String htmlUrl = "http://www.baidu.com";
        ReadAjaxDynamicHtml(htmlUrl);
    }

顯示的結果部分截圖：

jar參考：

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.8.3</version>
</dependency>

至此測試完成。爬取頁面或會涉及讀取文本和圖片，給出示例讀取文本和下載圖片到本地示例代碼：

/**
     *
     * @param text 要寫入的文本
     * @param fileName 文件名
     * @throws IOException
     */
    public static void Writer(String text,String fileName) throws IOException {
        // 生成的文件路徑
        String path = "F:\\" + fileName + System.currentTimeMillis() + ".txt";
        File file = new File(path);
        if (!file.exists()) {
            file.getParentFile().mkdirs();
        }
        file.createNewFile();
        OutputStreamWriter fw = new OutputStreamWriter(new FileOutputStream(file), "UTF-8");
        BufferedWriter bw = new BufferedWriter(fw);
        bw.write(text);
        bw.flush();
        bw.close();
        fw.close();
    }

/**
     * 
     * @param urlList 圖片地址
     * @param path 存儲路徑
     */
    private static void downloadPicture(String urlList,String path) {
        URL url = null;
        try {
            url = new URL(urlList);
            DataInputStream dataInputStream = new DataInputStream(url.openStream());
            File file = new File(path);
            if (!file.exists()) {
                file.getParentFile().mkdirs();
            }
            //file.createNewFile();
            FileOutputStream fileOutputStream = new FileOutputStream(file);
            ByteArrayOutputStream output = new ByteArrayOutputStream();

            byte[] buffer = new byte[1024];
            int length;

            while ((length = dataInputStream.read(buffer)) > 0) {
                output.write(buffer, 0, length);
            }
            BASE64Encoder encoder = new BASE64Encoder();
            String encode = encoder.encode(buffer);//返回Base64編碼過的字節數組字符串
            fileOutputStream.write(output.toByteArray());
            dataInputStream.close();
            fileOutputStream.close();
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

當然 接口入參可自定義。