HttpURLConnection模擬瀏覽器http請求【轉】

本文是參考網絡文章測試整理,報歉忘記參考地址了,要是作者有意見就請聯系我.文中只是對程序的運行做了測試,但理論沒有去考證正確性,等后面研究下再完善.這只是做參考 

import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLEncoder;

/**
 * HttpURLConnection 模擬瀏覽器http請求處理測試
 * 
 * 整體操作流程(注意順序)
 *   1.根據url地址創建URL對象
 *   2.url.openConnection() 得到HttpURLConnection
 *   3.設置HttpURLConnection的配置(會根據配置生成http請求頭信息)
 *   4.httpConn.connect()建立與服務器的TCP連接
 *   5.通過httpConn得到輸出流,並寫入參數
 *   6.通過httpConn得到輸入流,並讀取服務器返回信息(這時才真正產生http請求發送給服務器,但可以根據配置來改變;一般返回可能是html字符串)
 * 
 * httpRequestPost/httpRequestGet兩種方式測試通過，返回的是html字符串(后台是jsp)
 *
 */
public class HttpURLConnectionTest {

    public static void main(String[] strs) throws Exception{
        HttpURLConnectionTest t = new HttpURLConnectionTest();
        String url = "http://localhost:8080/URLTest/filesystem/fileBrowse.do";
        t.httpUrlConnection(url);
    }
    
    private void httpUrlConnection(String urlStr) throws Exception{
        httpRequestGet(urlStr);
        httpRequestPost(urlStr);
    }
    
    /**
     * http post請求
     * @param urlStr URL地址
     * @throws Exception
     */
    private void httpRequestPost(String urlStr) throws Exception{
        URL url = new URL(urlStr);
        
        HttpURLConnection httpConn = (HttpURLConnection)url.openConnection();
        
        //設置是否向connection輸出，因為是post請求，參數要放在 http正文內，因此需要設為true
        httpConn.setDoOutput(true);
        
        //是否向connection輸入，默認為true
        httpConn.setDoInput(true);
        
        //POST請求方式
        httpConn.setRequestMethod("POST");
        
        //post請求不能使用緩存
        httpConn.setUseCaches(false);
        
        //是否自動執行重定向,默認為true
        httpConn.setInstanceFollowRedirects(true);
        
        //配置本次連接的Content-type，配置為application/x-www-form-urlencoded的意思是正文是urlencoded編碼過的form參數
        //下面我們可以看到我們對正文內容使用URLEncoder.encode 進行編碼
        httpConn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");
        
        //連接，從openConnection()至此的配置必須要在connect之前完成， 注意的是connection.getOutputStream會隱含的進行connect。
        httpConn.connect();
        
        DataOutputStream dos = new DataOutputStream(httpConn.getOutputStream());
        
        //發送正文，正文內容其實跟get的URL中'?'后的參數字符串一致 word=wait&tn=news&from=news
        String content = "filePath=" + URLEncoder.encode("設計資料/設計", "utf-8");
        
        //DataOutputStream.writeBytes將字符串中的16位的unicode字符以8位的字符形式寫道流里面
        dos.writeBytes(content); 
        
        //刷新流
        dos.flush();
        
        //關閉流
        dos.close();
        
        // 取得輸入流，並使用Reader讀取
        BufferedReader reader = new BufferedReader(new InputStreamReader(httpConn.getInputStream()));
        
        System.out.println("=========post request接收數據內容開始============");
        String lines;
        while ((lines = reader.readLine()) != null) {
            System.out.println(lines);
        }
        reader.close();
        System.out.println("=========post request接收數據內容結束============");
        httpConn.disconnect();
    }

    /**
     * http get 請求
     * @param urlStr 請求URL地址
     * @throws Exception
     */
    private void httpRequestGet(String urlStr) throws Exception{
        //URL拼接,如："http://www.baidu.com?name=HI,中國",這里對特殊字符進行了編碼，不然會產生亂碼
        URL url = new URL(urlStr + "?filePath=" + URLEncoder.encode("設計資料/設計", "utf-8"));
        
        //openConnection函數會根據URL的協議返回不同的URLConnection子類的對象
        //這里URL是一個http,因此實際返回的是HttpURLConnection 
        HttpURLConnection httpConn = (HttpURLConnection)url.openConnection();
        
        //進行連接,實際上request要在下一句的connection.getInputStream()函數中才會真正發到 服務器****待驗證
        httpConn.connect();
        
         // 取得輸入流，並使用Reader讀取
        BufferedReader reader = new BufferedReader(new InputStreamReader(httpConn.getInputStream()));
        
        System.out.println("=========get request接收數據內容開始============");
        String lines;
        while ((lines = reader.readLine()) != null) {
            System.out.println(lines);
        }
        reader.close();
        System.out.println("=========get request接收數據內容結束============");
        httpConn.disconnect();
    }

    
    /**
     * http post 請求(未測試)
     * 
     * @param urlStr
     * @throws Exception
     */
    public static void httpRequestPostBig(String urlStr) throws Exception {
            URL postUrl = new URL(urlStr);
            HttpURLConnection connection = (HttpURLConnection) postUrl
                    .openConnection();
            connection.setDoOutput(true);
            connection.setDoInput(true);
            connection.setRequestMethod("POST");
            connection.setUseCaches(false);
            connection.setInstanceFollowRedirects(true);
            connection.setRequestProperty("Content-Type","application/x-www-form-urlencoded");
             //與httpRequestPost()的不同，設置了塊大小為5字節
            connection.setChunkedStreamingMode(5);
            connection.connect();
            /*
             * 注意，下面的getOutputStream函數工作方式於在httpRequestPost()里面的不同
             * 在httpRequestPost()里面該函數仍在准備http request，沒有向服務器發送任何數據
             * 而在這里由於設置了ChunkedStreamingMode，getOutputStream函數會根據connect之前的配置
             * 生成http request頭，先發送到服務器。
             */
            DataOutputStream out = new DataOutputStream(connection
                    .getOutputStream());
            String content = "name=" + URLEncoder.encode("發送到服務器                                                                             " +
                    "                                          " +
                    "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "utf-8");
            out.writeBytes(content); 

            out.flush();
            out.close(); //到此時服務器已經收到了完整的http request了，而在httpRequestPost()函數里，要等到下一句getInputStream()服務器才能收到http請求。
            BufferedReader reader = new BufferedReader(new InputStreamReader(
                    connection.getInputStream()));
            
            out.flush();
            out.close();
            String line;
            System.out.println("==========post request開始==========");
            while ((line = reader.readLine()) != null) {
                System.out.println(line);
            }
            System.out.println("==========post request結束==========");
            reader.close();
            connection.disconnect();
        }
}

 

HttpURLConnection.connect函數，實際上只是建立了一個與服務器的tcp連接，並沒有實際發送http請求。無論是post還是get，http請求實際上直到HttpURLConnection.getInputStream()這個函數里 

面才正式發送出去。 
  在httpRequestPost() 中，順序很重要，對connection對象的一切配置（那一堆set函數）都必須要在connect()函數執行之前完成。而對 outputStream的寫操作，又必須要在inputStream的 

讀操作之前。這些順序實際上是由http請求的格式決定的。 
  http 請求實際上由兩部分組成，一個是http頭，所有關於此次http請求的配置都在http頭里面定義，一個是正文content，在connect()函數里面，會根據HttpURLConnection對象的配置值生 

成http頭，因此在調用connect函數之前，就必須把所有的配置准備好。 
  緊接着http頭的是http請求的正文，正文的內容通過outputStream寫入，實際上outputStream不是一個網絡流，充其量是個字符串流，往里面寫入的東西不會立即發送到網絡，而是在流關閉 

后，根據輸入的內容生成http正文。 
  至此，http請求的東西已經准備就緒。在getInputStream()函數調用的時候，就會把准備好的http請求正式發送到服務器了，然后返回一個輸入流，用於讀取服務器對於此次http請求的返回 

信息。由於http請求在getInputStream的時候已經發送出去了（包括http頭和正文），因此在getInputStream()函數之后對connection對象進行設置（對http頭的信息進行修改）或者寫入 outputStream 

（對正文進行修改）都是沒有意義的了，執行這些操作會導致異常的發生 
  post請求的OutputStream實際上不是網絡流，而是寫入內存，在getInputStream中才真正把寫道流里面的內容作為正文與根據之前的配置生成的http request頭合並成真正的http request， 

並在此時才真正向服務器發送。 
  HttpURLConnection.setChunkedStreamingMode 函數可以改變這個模式，設置了ChunkedStreamingMode后，不再等待OutputStream關閉后生成完整的http request一次過發送，而是先發送 

http request頭，正文內容則是網路流的方式實時傳送到服務器。實際上是不告訴服務器http正文的長度，這種模式適用於向服務器傳送較大的或者是不容易獲取長度的數據，如文件。