基於Java的數據采集（一）

之前寫過2篇關於PHP數據采集入庫的文章：

基於PHP數據采集入庫（一）：http://www.cnblogs.com/lichenwei/p/3872307.html

基於PHP數據采集入庫（二）：http://www.cnblogs.com/lichenwei/p/3873281.html

 

《基於Java的數據采集（二）》：http://www.cnblogs.com/lichenwei/p/3905370.html

《基於Java數據采集入庫（三）》：http://www.cnblogs.com/lichenwei/p/3907007.html

《基於Java數據采集入庫（終結篇）》：http://www.cnblogs.com/lichenwei/p/3910492.html

其實采集的原理都是一樣的：遠程獲取信息->提取所需內容（正則）->分類存儲->讀取->展示

用什么編程語言沒所謂，編程語言只是種工具

 

這次來采集一個足球網站的數據：http://www.footballresults.org/league.php?league=EngDiv1

下圖是我們要采集的數據：

好了，關於采集原理就看上面那2篇文章吧，剩下的直接上代碼：

 

GerData.java(采集數據方法封裝)

其實也就是簡單的匹配正則：

group():返回在以前匹配操作期間由給定組捕獲的輸入子序列。

find():嘗試查找與該模式匹配的輸入序列的下一個子序列。

 1 package com.lcw.curl;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class GetData {
    
    /**
     * 
     * @param regex 正則表達式
     * @param content 所要匹配的內容
     * @return
     */
    public String getData(String regex,String content){
        Pattern pattern=Pattern.compile(regex, Pattern.CASE_INSENSITIVE);//設定正則表達式，不區分大小寫
        Matcher matcher=pattern.matcher(content);
        if(matcher.find()){
            return matcher.group();
        }else{
            return "";
        }
    }

}

 

CurlMain.java（主程序）

InputStreamReader()是字節流通向字符流的橋梁。

InputStreamReader()是字節流通向字符流的橋梁。

openStream()打開到此URL的連接並返回一個用於從該連接讀入的字節流。


package com.lcw.curl;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;


public class CurlMain {

    /**
     * @param args
     */
    public static void main(String[] args) {
        try {
            String address="http://www.footballresults.org/league.php?league=EngDiv1";
            URL url=new URL(address);
            InputStreamReader inputStreamReader=new InputStreamReader(url.openStream(),"utf-8");//打開地址，以UTF-8編碼的形式返回字節並轉為字符
            BufferedReader bufferedReader=new BufferedReader(inputStreamReader);//從字符輸入流中讀取文本，緩沖各個字符，從而提供字符、數組和行的高效讀取。
            
            GetData data=new GetData();
            String content="";//用來接受每次讀取的行字符
            int flag=0;//標志,隊伍信息剛好在日期信息后面,則正則相同，用於分離數據
            String dateRegex="\\d{1,2}\\.\\d{1,2}\\.\\d{4}";//日期匹配正則表達式
            String teamRegex=">[^<>]*</a>";//隊伍匹配正則表達式
            String scoreRegex=">(\\d{1,2}-\\d{1,2})</TD>";//比分正則表達式
            int i=0;//記錄信息條數
            
            while((content=bufferedReader.readLine())!=null){//每次讀取一行數據
                //獲取比賽日期信息
                String dateInfo=data.getData(dateRegex, content);
                if(!dateInfo.equals("")){
                    System.out.println("日期:"+dateInfo);
                    flag++;
                }
                //獲取隊伍信息，需先讀到日期信息讓標志符自增
                String teamInfo=data.getData(teamRegex, content);
                if(!teamInfo.equals("")&&flag==1){
                    teamInfo=teamInfo.substring(1, teamInfo.indexOf("</a>"));
                    System.out.println("主隊:"+teamInfo);
                    flag++;
                }else if (!teamInfo.equals("") && flag == 2) {  
                    teamInfo = teamInfo.substring(1, teamInfo.indexOf("</a>"));
                    System.out.println("客隊:" + teamInfo);  
                    flag = 0;
                }
                //獲取比分信息
                String scoreInfo=data.getData(scoreRegex, content);
                if(!scoreInfo.equals("")){
                    scoreInfo=scoreInfo.substring(1, scoreInfo.indexOf("</TD>"));
                    System.out.println("比分:"+scoreInfo);
                    System.out.println();
                    i++;
                }
                
            }
            bufferedReader.close();
            System.out.println("一共收集到了"+i+"條信息");
        } catch (Exception e) {
            e.printStackTrace();
        }
        
    }
    

}

 

數據輕松采集，效果如下圖：