前言
本人是一名大三大學生,考完試不久,由於自己不知道期末考試什么時候出考試成績,並且每次查詢成績特別麻煩(首先得登錄VPN連接學校內網,然后再登錄教務管理系統,再進入查詢界面,點擊查詢成績等,相信各位大學生在家查詢成績也有同樣的麻煩),於是自己突發奇想,想做一個免VPN成績查詢的WEB界面(只需要輸入賬號,密碼就可以直接顯示出考試成績,下面會解釋這個項目是怎么做的),另外還想做一個短信通知服務,就是只要這門成績一出,就會自動給你發短信通知 什么科目考了什么成績等信息。下面就詳細地介紹這個項目是怎么做的。
步驟
一、整體架構
1、首先要完成這個小項目,第一步就是要認真分析需求
當然在學習Python的道路上肯定會困難,沒有好的學習資料,怎么去學習呢? 學習Python中有不明白推薦加入交流Q群號:928946953 群里有志同道合的小伙伴,互幫互助, 群里有不錯的視頻學習教程和PDF! 還有大牛解答!
1.1、免VPN
1.2、WEB可視化界面
1.3、短信通知功能
2、下面是根據這些需求具體的架構
首先免VPN,是讓用戶感覺到沒有用VPN,但是不用VPN是無法連接學校服務器進入的,所以這里我的想法是在服務器端架設VPN,在前台,用戶只需要把教務管理系統的賬號,密碼輸入,然后將信息傳到服務器,服務器端再連接學校服務器,將信息傳入服務器,分析get,post請求將查詢到的成績返回,WEB可視化使用的python的flask, 短信通知就是寫一個python程序,讓它死循環地向學校服務器發送post請求,只要一檢測到成績就查詢每個用戶的程序並向用戶發送短信
3、數據庫
這里我使用的是mysql數據庫,我建了 3個表
表1、com_user,存儲的是有查詢權限的用戶(學號,姓名)
表2、note_user,存儲的是開通短信服務的用戶(學號,姓名,密碼(加密的,這里我采用了最簡單的Base64加密), 手機號)
表3、kcs,存儲的是已出的考試成績,因為短信服務需要每次查詢成績與數據庫的做對比,多的就是新出的,表的字段是(課程號(唯一確定一門課程), 課程名稱)
二、逆向分析教務管理系統的WEB界面實現自動登錄
1、首先需要登錄在家查詢成績所需的VPN,因為這樣才會登錄學校的教務管理系統
2、 我們從登錄入口開始分析
點擊登錄后發現密碼框中的數據變長了
說明密碼是在前台加密過的
再次回退再次登錄,這時我們打開F12,觀察發送的數據,,點擊登錄后
觀察第一個http請求,發現發送的Form表單中yhm是學號,下面的mm是加密的密碼,上面的csrftoken現在也不知道是什么東西,百度搜索后,發現好像是為用戶實現防止跨站請求偽造的功能
這里先不管它
再次倒回,審查按鈕元素,觀察click事件
進入,驚訝地發現密碼是RSA加密的,進一步調試並百度后發現這個是RSA的PKCS的一種標准
那么公鑰是從哪里來的呢?
回到最初的登錄界面,打開F12,在谷歌瀏覽器搜索欄中輸入教務管理系統的URL,回車,捕捉HTTP數據包
然后 再往上找,發現
在這個數據包中,服務器返回了csrftoken,
好了,到了這里我們先停一下,先用python模擬一下自動登錄,看看是否能登錄成功
# _*_ coding : utf-8 _*_ # User: 19164 # Date: 2020/1/19 13:43 # Name: main.py # Tool: PyCharm import hashlib import time from Crypto.Util.number import * import requests from bs4 import BeautifulSoup import base64 import rsa get_grade_url = "http://********.edu.cn/jwglxt/xtgl/login_slogin.html" headers = { "User-Agent" : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/79.0.3945.88 Safari/537.36 ' } get_rsa_pubkey_url = "http://********.edu.cn/jwglxt/xtgl/login_getPublicKey.html" def get_rsa_encry_pwd(session, password) : # 將密碼進行RSA加密 time_ = round(time.time() * 1000) get_key_url = get_rsa_pubkey_url + "?time=" + str(time_) + "&_=" + str(time_ + 1753) pubkey_json = session.get(get_key_url, headers=headers).json() int_exponent = bytes_to_long(base64.b64decode(pubkey_json['exponent'])) int_modulus = bytes_to_long(base64.b64decode(pubkey_json['modulus'])) rsa_pubkey = rsa.PublicKey(int_modulus, int_exponent) crypto = rsa.encrypt(password.encode(), rsa_pubkey) password = base64.b64encode(crypto).decode() return password def login(username, pwd) : session = requests.session() res = session.get(get_grade_url, headers=headers) bs = BeautifulSoup(res.text, "html.parser") token = bs.find('input', id='csrftoken')['value'] password = get_rsa_encry_pwd(session, pwd) form_data = { "csrftoken" : token, "yhm" : username, "mm" : [password, password] } url = get_grade_url + "?time=" + str(round(time.time() * 1000)) res = session.post(url, data=form_data, headers=headers) with open("login.html", "wb") as f : f.write(res.content) if __name__ == "__main__" : xh = "*************" pwd = "*************" login(xh, pwd)
我們將寫入的login.html用瀏覽器打開,
發現已經成功登錄了(其實這里不知道自己改代碼改了多少遍,上面是最終的完整的原代碼),好了,到目前為止,其實已經成功了一大半,然后我們開始分析查詢成績發送的數據及URL
我們進入查詢界面
點開F12,點擊查詢
發現只發送一個post請求
分析form表單數據,經過多次試驗發現
xnm是查詢的學期,xqm 3是上學期,12是下學期
,其他的是不變的
而返回的成績
經過分析,Items中 kch是課程號,kcmc是課程名稱,cj是成績,,jd是績點,,,,都是拼音首字母,,也是醉了,下面就完善腳本實現自動查詢並發送短信
3、短信通知實現
關於短信的實現,我是上某寶買的短信接口,20元200條短信,內容報備后可以24小時發送
這里貼出短信服務器的代碼
# 數據庫部分是自己封裝了一個類 # _*_ coding : utf-8 _*_ # User: 19164 # Date: 2020/1/19 14:35 # Name: consql.py # Tool: PyCharm import pymysql class ConMySql: def __init__(self): self.db = pymysql.connect("localhost", "root", "password", "jwglxt") self.cursor = self.db.cursor() def __del__(self): self.db.close() # 增加,刪除,修改數據 def execute_sql(self, sql): try: self.cursor.execute(sql) self.db.commit() return True except: self.db.rollback() return False # 查詢已開通短信服務的用戶 def query_note_user(self): try: userList = [] sql = "SELECT * FROM note_user;" self.cursor.execute(sql) results = self.cursor.fetchall() for row in results: tmp = [] tmp.append(row[0]) tmp.append(row[1]) tmp.append(row[2]) tmp.append(row[3]) userList.append(tmp) return userList except: return False # 傳入課程號,判斷這門課程是否是新出的 def is_new_class(self, kch): kcList = [] sql = "SELECT * FROM kcs where kch = " + "'" + kch + "';" self.cursor.execute(sql) results = self.cursor.fetchall() # 如果不是新課程,會從數據庫中查找到,返回False,是新課程的話就返回True if len(results) == 1: return False else: return True # 往表 kcs 中添加新出的課程 def add_new_class(self, kch, kcmc): sql = "INSERT INTO kcs VALUES (" + "'" + kch + "','" + kcmc + "');" return self.execute_sql(sql)
# _*_ coding : utf-8 _*_ # User: 19164 # Date: 2020/1/19 13:43 # Name: main.py # Tool: PyCharm import hashlib import time from Crypto.Util.number import * import requests from bs4 import BeautifulSoup import base64 import rsa import threading from consql import ConMySql # 登錄的URL get_grade_url = "http://***********.edu.cn/jwglxt/xtgl/login_slogin.html" headers = { "User-Agent" : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/79.0.3945.88 Safari/537.36 ' } # 得到登錄公鑰的URL get_rsa_pubkey_url = "http://**********.edu.cn/jwglxt/xtgl/login_getPublicKey.html" # 查詢成績的URL query_url = 'http://**********.edu.cn/jwglxt/cjcx/cjcx_cxDgXscj.html?doType=query&gnmkdm=N305005' # 記錄查詢日志 def WriteFile(content) : with open("grade.log", "a+") as f : f.write(content + "\n") # 短信接口 1 def send_one_note(str_send_note, phonenum) : """ :param str_send_note: 短信內容 :param phonenum: 手機號碼 :return: """ try : url_sendNote = "http://**********:9000/sms.aspx" data_sendNote = { "userid" : 4972, "account" : "zsky", "password" : "**********", "mobile" : phonenum, "content" : str_send_note, "sendTime" : "", "action" : "send", "extno" : "" } rs = requests.post(url_sendNote, data=data_sendNote) # print(rs.text) if "Success" in rs.text : WriteFile(str_send_note + "發送成功") return True else : return False except : return False # 向所有注冊短信服務的用戶發送短信 def send_all_note(my_con, kch, kcmc) : """ :param my_con: 數據庫對象 :param kch: 課程號 :param kcmc: 課程名稱 :return: """ # 【成績通知】尊敬的***你好,***成績出了,您的成績為***,績點為*** userlist = my_con.query_note_user() if userlist : # 開始遍歷發短信 for i in range(len(userlist)) : try : # 獲取相關的信息 xh = userlist[i][0] name = userlist[i][1] pwd = base64.b64decode(userlist[i][2]).decode() cj, jd = get_grade(xh, pwd, kch) phone_num = userlist[i][3] content = "【成績通知】尊敬的%s用戶,您好,%s成績出了,您的成績為%s,績點為%s" % (name, kcmc, cj, jd) th1 = threading.Thread(target=send_one_note, args=(content, phone_num,)) th1.run() time.sleep(2) # 等2秒之后再發下一個 except : WriteFile("在查詢" + name + "成績時出現異常") else : WriteFile("沒有查詢到userlist") return False # 根據公鑰獲得加密后的密碼 def get_rsa_encry_pwd(session, password) : """ :param session: 建立連接的session對象 :param password: 密碼 :return: """ # 將密碼進行RSA加密 time_ = round(time.time() * 1000) get_key_url = get_rsa_pubkey_url + "?time=" + str(time_) + "&_=" + str(time_ + 1753) pubkey_json = session.get(get_key_url, headers=headers).json() int_exponent = bytes_to_long(base64.b64decode(pubkey_json['exponent'])) int_modulus = bytes_to_long(base64.b64decode(pubkey_json['modulus'])) rsa_pubkey = rsa.PublicKey(int_modulus, int_exponent) crypto = rsa.encrypt(password.encode(), rsa_pubkey) password = base64.b64encode(crypto).decode() return password # 登錄 def login(session, username, pwd) : """ :param session: 建立連接的session對象 :param username: 用戶名 :param pwd: 密碼 :return: """ res = session.get(get_grade_url, headers=headers) bs = BeautifulSoup(res.text, "html.parser") token = bs.find('input', id='csrftoken')['value'] password = get_rsa_encry_pwd(session, pwd) form_data = { "csrftoken" : token, "yhm" : username, "mm" : [password, password] } url = get_grade_url + "?time=" + str(round(time.time() * 1000)) res = session.post(url, data=form_data, headers=headers) # 遍歷成績,返回成績json數據 def query(session) : """ :param session: 建立連接的session對象 :return: """ form_data = { 'xnm' : 2019, 'xqm' : '3', '_search' : 'false', 'nd' : round(time.time() * 1000), 'queryModel.showCount' : 15, 'queryModel.currentPage' : 1, 'queryModel.sortName' : '', 'queryModel.sortOrder' : 'asc', 'time' : 0 } query_res = session.post(query_url, data=form_data, headers=headers).json() items = query_res['items'] return items # <----- 個人查詢成績 ----> # return item['cj'], item['jd'] def get_grade(_xh, _pwd, _kch) : """ :param _xh:學號 :param _pwd: 密碼 :param _kch: 課程號 :return: 返回這門課程的成績和績點 """ try : # 登錄教務管理系統 username = _xh pwd = _pwd session = requests.session() login(session, username, pwd) return query_grade(session, _kch) except : return False def query_grade(session, _kch) : items = query(session) for item in items : if item['kch'] == _kch : return item['cj'], item['jd'] return False # <----- 總查詢 ----> # 如果出現新的成績,就將其寫入數據庫,並且send_all_note def begin_query__(my_con) : """ :param my_con: 數據庫連接對象 :return: """ # 登錄教務管理系統 username = "**********" pwd = "**********" session = requests.session() login(session, username, pwd) # 查詢是否出新成績 query_class__(session, my_con) def query_class__(session, my_con) : items = query(session) for item in items : if my_con.is_new_class(item['kch']) : my_con.add_new_class(item['kch'], item['kcmc']) WriteFile("出了新成績--->%s" % item['kcmc']) send_all_note(my_con, item['kch'], item['kcmc']) if __name__ == "__main__" : my_con = ConMySql() count = 0 while True : count = count + 1 begin_query__(my_con) WriteFile(str(count) + ": " + time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))) time.sleep(60 * 10) # 每十分鍾查詢一次成績
4、WEB界面
最后需要做一個WEB界面,里面提供是否開通短信服務,如果開通,就把信息寫入note_user中,這里就不貼出代碼了,,
5、成果展示
現在,我已經將這個服務服務於我們班的同學,同學們還是挺喜歡這個東西的,畢竟方便了不少
6、擴展
這種直接分析get post數據的手段其實不僅用來查詢成績,還可以做一些擴展,比如在選網課的時候,可以根據這種方法寫腳本自動篩選網課,並選課等(因為在選課期間,由於訪問人數太多,學校服務器挺不住的),用腳本的方法可以幫助選網課。
