網絡爬蟲入門（二）模擬提交以及HttpClient修正

模擬提交就是說我們不自己登陸到客戶端，僅僅靠發送請求就模擬了客戶端的操作，在現實使用的時候經常用來接收一些需要登錄才能獲取到的數據，來模擬表單的提交，所以很多時候也被稱作虛擬登錄，這次的例子是我自己為學校實驗室開發的官方網站的納新報名系統，設置有一個管理員，管理員通過登錄就可以查看報名人的信息，做一個虛擬登錄來獲取到報名信息頁面，因為如果沒有登錄直接到達這個頁面，頁面是不給訪問的，具體技術我開發的時候用到了session，就不詳細描述了。

那么獲取數據的條件為：（報名信息URL為...省略\FreshTable.html，登錄頁面為...省略\login.html）

1.必須登錄

2.為POST請求方式

首先是先直接輸入報名信息的頁面我們會看到頁面直接跳到了登錄頁面。如果直接沒有登錄的時候抓取網頁的時候我們可以看到的現象是(URL:...省略\FreshTable.html)：

<div class="msg2 fl">歡迎管理員登錄</div>
      <div class="hline fr">
      </div>
    </div>
    <div class="inputer">
      <form action="FreshTable.html" method="post">
      <input class="inputext" type="text" name="UserName"  id="UserName" placeholder="用戶名" onkeydown="if(event.keyCode==13) event.keyCode=9">
      <input class="inputext" type="password" name="Password" id="Password" placeholder="密碼">
      <input type="submit" id="submitbtn" value="登錄"/>

現在開始我們的主題。

經過研究發現，昨天的HttpClient的包官方已經不用了，現在屬於遺留的包，Maven都找不到昨天的包，所以今天重新換了新的包，之前的common下的HttpClient包，這次使用的是

org.apache.http.impl.client.HttpClients;

這個包。

這個包在Maven中配置是：

<dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.1</version>
</dependency>

這里我選用了4.5.1的包，也可以選擇其他版本。

現在進行編碼，今天這個包的操作和之前有一定的區別，所以代碼就改了

CloseableHttpClient httpClient= HttpClients.createDefault();
        HttpPost post=new HttpPost("××××××××/FreshTable.html");
        try {
            CloseableHttpResponse response=httpClient.execute(post);
            System.out.println(EntityUtils.toString(response.getEntity()));
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

以上代碼的功能為輸出這個URL的內容然而並不是我們想要的內容：獲得的HTML代碼為之前開始的HTML代碼。這是就需要一個虛擬登錄了。

首先我們要知道表單的代碼，這里表單的代碼為：

<input class="inputext" type="text" name="UserName"  id="UserName" placeholder="用戶名" onkeydown="if(event.keyCode==13) event.keyCode=9">
      <input class="inputext" type="password" name="Password" id="Password" placeholder="密碼">
      <input type="submit" id="submitbtn" value="登錄"/>

我們可以看到name的值分別為UserName和password，分別對應這用戶名和密碼，所以我們就可以通過這個來登錄。

先解釋幾個類和方法：

BasicNameValuePair

用來寫入Name值和對應的value值

UrlEncodedFormEntity

這個將那些name和value寫到實例中，構造方法對應的兩個是BasicNameValuePair的數據和字符編碼。之后在用post來發送請求。

整體代碼為：

public class TestSp01 {
    public static void main(String[] args){
        CloseableHttpClient httpClient= HttpClients.createDefault();
        HttpPost post=new HttpPost("http://×××××××××/FreshTable.html");
        List<NameValuePair> formparams=new ArrayList<NameValuePair>();
        formparams.add(new BasicNameValuePair("UserName","××××××"));
        formparams.add(new BasicNameValuePair("Password","××××××"));
        UrlEncodedFormEntity entity=new UrlEncodedFormEntity(formparams, Consts.UTF_8);
        post.setEntity(entity);
        try {
            CloseableHttpResponse response=httpClient.execute(post);
            System.out.println(EntityUtils.toString(response.getEntity()));
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

以上代碼運行就執行了使用post方式登錄，那么這時獲取到的數據也就成為了：

<tr>
                            <td>×××××</td>
                            <td>×××××</td>
                            <td>1×××××××××37</td>
                            <td>光電××××</td>
                            <td>0</td>
                            <td>10××××××80</td>
                            <td>104××××××@××.com</td>
                        </tr>
                    
                        <tr>
                            ……
                        </tr>

完成了一次模擬提交。

 

 

=========================================