java爬蟲（三）利用HttpClient和Jsoup模擬網頁登陸（無驗證碼）

簡介：

注意問題：本文是基於校園信息門戶進行的實驗，因為用戶名密碼需要的涉密，因此文中的代碼不加修改肯定不能直接運行成功。如果讀者二次開發過程運行代碼出現問題歡迎與作者聯系。可以直接留言，也可以郵箱留言[e-mail]

模擬登錄的原理：

　　總的來說，模擬發送請求，是瀏覽器發送什么，我們在代碼里面就發送什么，包括請求的url，請求的參數，請求的方式，及請求頭。既然是登錄請求，則滿足登錄請求所需的條件即可。這里的重點是確定登錄表單的參數，確定發送登錄請求時所需的參數，以及這些參數被傳到哪里去了。

實現過程：

1.使用瀏覽器的審查元素功能(F12)查看需要訪問界面的一些參數.

開啟審查元素后正常輸入用戶名和密碼進行登錄操作，登錄成功的過程會發現審查元素內多了很多元素。

 

 

依次點擊 network-->login(找不到這個也可以點擊類似的帶login的其他name)-->Headers-->圖中的Request URL就是下文需要添加的網址

 

 

 

 

 

2.實際操作方法

package debug;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;


public class test {

public static String LOGIN_URL = "http://authserver.tjut.edu.cn/authserver/login";//上文提到的Request URL
public static String USER_AGENT = "User-Agent";
public static String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";

public static void main(String[] args) throws Exception {
　　
    simulateLogin("203128***", "你自己的密碼"); // 第二處需要修改的位置：模擬登陸github的用戶名和密碼

}

/**
 * @param userName 用戶名
 * @param pwd 密碼
 * @throws Exception
 */
public static void simulateLogin(String userName, String pwd) throws Exception {

    /* 
     * 第一次請求 
     * grab login form page first
     * 獲取登陸提交的表單信息，及修改其提交data數據（login，password）
     */
    // get the response, which we will post to the action URL(rs.cookies())
    Connection con = Jsoup.connect(LOGIN_URL);  // 獲取connection
    con.header(USER_AGENT, USER_AGENT_VALUE);   // 配置模擬瀏覽器
    Response rs = con.execute();                // 獲取響應
    Document d1 = Jsoup.parse(rs.body());       // 通過Jsoup將返回信息轉換為Dom樹
    List<Element> eleList = d1.select("#casLoginForm");  // 第三處需要修改的地方：獲取提交form表單，可以通過查看頁面源碼代碼得知

    // 獲取cooking和表單屬性
    // lets make data map containing all the parameters and its values found in the form
    Map<String, String> datas = new HashMap<>();
    for (Element e : eleList.get(0).getAllElements()) {
        // 第四處需要修改的內容：注意問題2：設置用戶名 注意equals（這個username和password也是要去自己的登錄界面input里找name值）
        if (e.attr("name").equals("username")) {
            e.attr("value", userName);
        }
        // 設置用戶密碼
        if (e.attr("name").equals("password")) {
            e.attr("value", pwd);
        }
        // 排除空值表單屬性
        if (e.attr("name").length() > 0) {
            datas.put(e.attr("name"), e.attr("value"));
        }
    }

    /*
     * 第二次請求，以post方式提交表單數據以及cookie信息
     */
    Connection con2 = Jsoup.connect("http://authserver.tjut.edu.cn/authserver/login");
    con2.header(USER_AGENT, USER_AGENT_VALUE);
    // 設置cookie和post上面的map數據
    Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST)
                            .data(datas).cookies(rs.cookies()).execute();
//    報錯Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=500, 
//  報錯原因：見上邊注意問題2
    // 打印，登陸成功后的信息
    System.out.println(login.body());

    // 登陸成功后的cookie信息，可以保存到本地，以后登陸時，只需一次登陸即可
    Map<String, String> map = login.cookies();
    for (String s : map.keySet()) {
        System.out.println(s + " : " + map.get(s));
    }  
}
}

 

3.基於本代碼二次開發時注意需要修改的內容(看代碼中的注釋)

 

后期開發

在模擬登陸后，使用保存的cookies去精准抓取需要登陸才能訪問的頁面中需要的信息。（參照下一篇文章）

java爬蟲（四）利用Jsoup獲取需要登陸的網站中的內容（無驗證碼的登錄）