java網絡爬蟲，亂碼問題終於完美解決

第一次寫爬蟲，被亂碼問題困擾兩天，試了很多方法都不可以，今天隨便一試，居然好了。

在獲取網頁時創建了一個緩沖字節輸入流，問題就在這個流上，添加標紅代碼即可

BufferedReader in = null;

in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream(),"utf-8"));

附上代碼，以供參考。

public String sendGet(String url) {
        Writer write = null;
        // 定義一個字符串用來存儲網頁內容
        String result = null;
        // 定義一個緩沖字符輸入流
        BufferedReader in = null;
        try {
            // 將string轉成url對象
            URL realUrl = new URL(url);
            // 初始化一個鏈接到那個url的連接
            URLConnection connection = realUrl.openConnection();
            // 開始實際的連接
            connection.connect();
            // 初始化 BufferedReader輸入流來讀取URL的響應
            in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream(),"utf-8"));
            // 用來臨時存儲抓取到的每一行的數據
            String line;

            File file = new File(saveEssayUrl, fileName);
            File file2 = new File(saveEssayUrl);

            if (file2.isDirectory() == false) {
                file2.mkdirs();
                try {
                    file.createNewFile();
                    System.out.println("********************");
                    System.out.println("創建" + fileName + "文件成功！！");

                } catch (IOException e) {
                    e.printStackTrace();
                }

            } else {
                try {
                    file.createNewFile();
                    System.out.println("********************");
                    System.out.println("創建" + fileName + "文件成功！！");
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            Writer w = new FileWriter(file);
            
            while ((line = in.readLine()) != null) {
                // 遍歷抓取到的每一行並將其存儲到result里面
//                line = new String(line.getBytes("utf-8"),"gbk");
                w.write(line);
                w.write("\r\n");
                result += line;
            }
            w.close();
        } catch (Exception e) {
            System.out.println("發送GET請求出現異常！" + e);
            e.printStackTrace();
        }
        // 使用finally來關閉輸入流
        finally {
            try {
                if (in != null) {
                    in.close();
                }
                
            } catch (Exception e2) {
                e2.printStackTrace();
            }
        }
        return result;
    }