Java爬蟲項目實戰（一）

主網站鏈接：

           http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html

主要jar包：              

          http://jsoup.org/packages/jsoup-1.8.1.jar

 之前一節我們說過java爬蟲從網絡上利用jsoup獲取網頁文本，也就是說我們可以有三種方法獲取html，一是根據url鏈接，二是從本地路徑獲取，三是通過字符串解析成html文檔

在這里，我們利用前兩種搭配使用：

  先看本地是否存在需要的網頁，如果不存在就通過url獲取並保存在本地（下次就可以不需要重新從網絡加載）

訪問鏈接看到我們的網站是這樣的：

利用谷歌瀏覽右鍵檢查元素，我們注意觀察黃色標記的部分：

     

 

 

我們新建一個類，具體內容如下：

//根據url獲取數據
    public Document getHtmlTextByUrl(String url){
        Document document=null;
        try{
            int i=(int)(Math.random()*1000);////做一個隨機延時，防止網站屏蔽
            while (i!=0) {
                i--;
            }
            document=Jsoup.connect(url)
                        .data("query","Java")
                        .userAgent("Mozilla")
                        .cookie("auth", "token")
                        .timeout(300000).post();
        }catch(Exception e){
            e.printStackTrace();
            try{
                document=Jsoup.connect(url).timeout(5000000).get();
            }catch(Exception e1){
                e1.printStackTrace();
            }
        }
        return document;
    }
    
    //根據元素屬性獲取某個元素內的elements列表
    public Elements getElementByClass(Document document,String className){
        Elements elements=null;
        elements=document.select(className);
        return elements;
    }
    
    public ArrayList getProvice(String url,String type){
        ArrayList result=new ArrayList();
        String classtype="."+type;
        //從網絡上獲取網頁
        Document document=getHtmlTextByUrl(url);
        if (document!=null) {
            Elements elements=getElementByClass(document,classtype);// tr的集合
            for(Element e:elements){// 依次循環每個元素，也就是一個tr
                if(e!=null){
                    for(Element ec:e.children()){// 一個tr的子元素td，td內包含a標簽
                        String[] prv = new String[4];
                        if(ec.children().first()!=null){
                            prv[0]=url;// 原來的url
                            prv[1]=ec.children().first().ownText();
                            System.out.println(prv[1]);//身份名稱
                            
                            String ownurl=ec.children().first().attr("abs:href");
                            prv[2]=ownurl;
                            System.out.println(prv[2]);
                            
                            prv[3]=type;
                            result.add(prv);
                        }
                    }
                }
            }
        }
        return result;
    }
    
    public static void main(String[] args) {
        String url="http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html";
        String type="provincetr";
        System.out.println(new Html().getProvice(url, type));
    }