java網頁數據抓取實例

原文鏈接

在很多行業中，要對行業數據進行分類匯總，及時分析行業數據，對於公司未來的發展，有很好的參照和橫向對比。所以，在實際工作，我們可能要遇到數據采集這個概念，數據采集的最終目的就是要獲得數據，提取有用的數據進行數據提取和數據分類匯總。

很多人在第一次了解數據采集的時候，可能無從下手，尤其是作為一個新手，更是感覺很是茫然，所以，在這里分享一下自己的心得，希望和大家一起分享技術，如果有什么不足，還請大家指正。寫出這篇目的，就是希望大家一起成長，我也相信技術之間沒有高低，只有互補，只有分享，才能使彼此更加成長。

在網頁數據采集的時候，我們往往要經過這幾個大的步驟：

①通過URL地址讀取目標網頁②獲得網頁源碼③通過網頁源碼抽取我們要提取的目的數據④對數據進行格式轉換，獲得我們需要的數據。

這是一個示意圖，希望大家了解

了解了基本流程，下來，我以一個案例具體實現如何提取我們需要的數據，對於數據提取可以用正則表達式進行提取，也可以用httpclient+jsoup進行提取，此處，暫且不講解httpclient+jsou提取網頁數據的做法，以后會對httpclient+jsoup進行專門的講解，此處，先開始講解如何用正則表達式對數據進行提取。

我在這里找到一個網站：http://www.ic.NET.cn/userSite/publicQuote/quotes_list.PHP 我們要對里面的數據進行提取操作，我們要提取的最終結果是產品的型號、數量、報價、供應商，首先，我們看到這個網站整個頁面預覽

其次我們看網頁源碼結構：

上面源碼可以很清楚的可以看到整個網頁源碼結構，下來我們就對整個網頁數據進行提取

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class HTMLPageParser {
    public static void main(String[] args) throws Exception {
        //目的網頁URL地址
        getURLInfo("http://www.ic.net.cn/userSite/publicQuote/quotes_list.php","utf-8");
    }
    public static List<Product> getURLInfo(String urlInfo,String charset) throws Exception {
        //讀取目的網頁URL地址，獲取網頁源碼
        URL url = new URL(urlInfo);
        HttpURLConnection httpUrl = (HttpURLConnection)url.openConnection();
        InputStream is = httpUrl.getInputStream();
        BufferedReader br = new BufferedReader(new InputStreamReader(is,"utf-8"));
        StringBuilder sb = new StringBuilder();
        String line;
        while ((line = br.readLine()) != null) {
            //這里是對鏈接進行處理
            line = line.replaceAll("</?a[^>]*>", "");
            //這里是對樣式進行處理
            line = line.replaceAll("<(\\w+)[^>]*>", "<$1>");
            sb.append(line);
        }
        is.close();
        br.close();
        //獲得網頁源碼
        return getDataStructure(sb.toString().trim());
    }
    static Pattern proInfo 
           = Pattern.compile("<div>(.*?)</div>\\s*<div>(.*?)</div>\\s*<div>(.*?)</div>\\s*<div>(.*?)</div>\\s*<div>(.*?)</div>", Pattern.DOTALL);
    private static List<Product> getDataStructure(String str) {
        //運用正則表達式對獲取的網頁源碼進行數據匹配，提取我們所要的數據，在以后的過程中，我們可以采用httpclient+jsoup,
        //現在暫時運用正則表達式對數據進行抽取提取
        String[] info = str.split("</li>");
        List<Product> list = new ArrayList<Product>();
        for (String s : info) {
            Matcher m = proInfo.matcher(s);
            Product p = null;
            if (m.find()) {
                p = new Product();
                //設置產品型號
                String[] ss = m.group(1).trim().replace(" ", "").split(">");
                p.setProStyle(ss[1]);
                //設置產品數量
                p.setProAmount(m.group(2).trim().replace(" ", ""));
                //設置產品報價
                p.setProPrice(m.group(4).trim().replace(" ", ""));
                //設置產品供應商
                p.setProSupplier(m.group(5).trim().replace(" ", ""));
                list.add(p);
            }
        }
        //這里對集合里面不是我們要提取的數據進行移除
        list.remove(0);
        for (int i = 0; i < list.size(); i++) {
            System.out.println("產品型號:"+list.get(i).getProStyle()+",產品數量:"+list.get(i).getProAmount()
                    +",產品報價:"+list.get(i).getProPrice()+",產品供應商:"+list.get(i).getProSupplier());
        }
        return list;
    }
}
class Product {
    private String proStyle;//產品型號
    private String proAmount;//產品數量
    private String proPrice;//產品報價
    private String proSupplier;//產品供應商
    public String getProStyle() {
        return proStyle;
    }
    public void setProStyle(String proStyle) {
        this.proStyle = proStyle;
    }
    public String getProSupplier() {
        return proSupplier;
    }
    public void setProSupplier(String proSupplier) {
        this.proSupplier = proSupplier;
    }
    
    public String getProAmount() {
        return proAmount;
    }
    public void setProAmount(String proAmount) {
        this.proAmount = proAmount;
    }
    public String getProPrice() {
        return proPrice;
    }
    public void setProPrice(String proPrice) {
        this.proPrice = proPrice;
    }
    public Product() {
        
    }
    @Override
    public String toString() {
        return "Product [proAmount=" + proAmount + ", proPrice=" + proPrice
                + ", proStyle=" + proStyle + ", proSupplier=" + proSupplier
                + "]";
    }
    
}

好了，運行上面程序，我們得到下面的數據，就是我們要獲得的最終數據

獲得數據成功，這就是我們要獲得最終的數據結果，最后我要說的是，此處這個網頁算是比較簡單的，而且，網頁源碼可以看到源數據，並且此方式是以get方式進行數據提交，真正采集的時候，有些網頁結構比較復雜，可能會存在着源碼里面沒有我們所要提取的數據，關於這一點的解決方式，以后給大家進行介紹。還有，我在采集這個頁面的時候，只是采集了當前頁面的數據，它還有分頁的數據，關於這個我此處不做講解，只是提示一點，我們可以采用多線程對所有分頁的當前數據進行采集，通過線程一個采集當前頁面數據，一個進行翻頁動作，就可以采集完所有數據。

我們匹配的數據可能在項目實際開發中，要求我們對所提取的數據要進行數據儲存，方便我們下一次進行數據的查詢操作。