java利用url實現網頁內容的抓取

閑來無事，剛學會把git部署到遠程服務器，沒事做，所以簡單做了一個抓取網頁信息的小工具，里面的一些數值如果設成參數的話可能擴展性能會更好！希望這是一個好的開始把，也讓我對字符串的讀取掌握的更加熟練了，值得注意的是JAVA1.8 里面在使用String拼接字符串的時候，會自動把你要拼接的字符串用StringBulider來處理，大大優化了String 的性能，閑話不多說，show my XXX code～

 運行效果：

 

首先打開百度百科，搜索詞條，比如“演員”，再按F12查看源碼

 

然后抓取你想要的標簽，注入LinkedHashMap里面就ok了，很簡單是吧！看看代碼羅

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.*;

/**
 * Created by chunmiao on 17-3-10.
 */
public class ReadBaiduSearch {

    //儲存返回結果
    private LinkedHashMap<String,String> mapOfBaike;


    //獲取搜索信息
    public LinkedHashMap<String,String> getInfomationOfBaike(String infomationWords) throws IOException {
        mapOfBaike = getResult(infomationWords);
        return mapOfBaike;
    }

    //通過網絡鏈接獲取信息
    private static LinkedHashMap<String, String> getResult(String keywords) throws IOException {
        //搜索的url
        String keyUrl = "http://baike.baidu.com/search?word=" + keywords;
        //搜索詞條的節點
        String startNode = "<dl class=\"search-list\">";
        //詞條的鏈接關鍵字
        String keyOfHref = "href=\"";
        //詞條的標題關鍵字
        String keyOfTitle = "target=\"_blank\">";

        String endNode = "</dl>";

        boolean isNode = false;

        String title;

        String href;

        String rLine;

        LinkedHashMap<String,String> keyMap = new LinkedHashMap<String,String>();

        //開始網絡請求
        URL url = new URL(keyUrl);
        HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
        InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream(),"utf-8");
        BufferedReader bufferedReader = new BufferedReader(inputStreamReader);

        //讀取網頁內容
        while ((rLine = bufferedReader.readLine()) != null){
            //判斷目標節點是否出現
            if(rLine.contains(startNode)){
                isNode = true;
            }
            //若目標節點出現，則開始抓取數據
            if (isNode){
                //若目標結束節點出現，則結束讀取，節省讀取時間
                if (rLine.contains(endNode)) {
                    //關閉讀取流
                    bufferedReader.close();
                    inputStreamReader.close();
                    break;
                }
                //若值為空則不讀取
                if (((title = getName(rLine,keyOfTitle)) != "") && ((href = getHref(rLine,keyOfHref)) != "")){
                    keyMap.put(title,href);
                }
            }
        }
        return keyMap;
    }

    //獲取詞條對應的url
    private static String getHref(String rLine,String keyOfHref){
        String baikeUrl = "http://baike.baidu.com";
        String result = "";
        if(rLine.contains(keyOfHref)){
            //獲取url
            for (int j = rLine.indexOf(keyOfHref) + keyOfHref.length();j < rLine.length()&&(rLine.charAt(j) != '\"');j ++){
                result += rLine.charAt(j);
            }
            //獲取的url中可能不含baikeUrl,如果沒有則在頭部添加一個
            if(!result.contains(baikeUrl)){
                result = baikeUrl + result;
            }
        }
        return result;
    }

    //獲取詞條對應的名稱
    private static String getName(String rLine,String keyOfTitle){
        String result = "";
        //獲取標題內容
        if(rLine.contains(keyOfTitle)){
            result = rLine.substring(rLine.indexOf(keyOfTitle) + keyOfTitle.length(),rLine.length());
            //將標題中的內容含有的標簽去掉
            result = result.replaceAll("<em>|</em>|</a>|<a>","");
        }
        return result;
    }

}

 

現在都好晚了，去睡覺了...