【Python3爬蟲】最新的模擬登錄新浪微博教程


一、寫在前面

首先呢,由於之前重裝系統,又要重新配置環境,然后還有一些別的事,導致我一直沒有寫爬蟲了,不過現在又可以繼續寫了。

然后我這次說的模擬登錄新浪微博呢,不是使用Selenium模擬瀏覽器操作,畢竟Selenium的效率是真的有些低,所以我選擇用Python發送請求實現模擬登錄,整個過程還算是有點小曲折吧。

 

二、開發環境

Windows10 + Python3.7 + Pycharm + Fiddler

 

三、頁面分析

首先打開新浪微博,網址為:https://weibo.com/,這里我們只需要關注登錄這一部分,如下圖:

這樣看是看不出來東西的,打開開發者工具,刷新一下頁面,找找看有沒有什么可疑的東西,然后就能找到下面這個包:

看到prelogin就能猜到應該是和登錄有關的了,於是點擊“Preview”查看具體內容:

到這里還是什么都看不出來,也不知道這些數據有什么用。這時候Fiddler就能派上用場了,首先打開Fiddler,然后在網頁上輸入用戶名和密碼並登錄新浪微博,登錄成功之后在Fiddler中找尋相關信息,可以找到下面這個url:

https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)

 點開之后可以看到攜帶了很多參數:

在這些參數中,我們需要關注的參數為:su,sp,servertime,nonce,pubkey,rsakv。其中su是用戶名加密后的結果,sp是密碼加密后的結果,servertime是一個時間戳,而剩余三個參數都來源於我們前面找到的prelogin.php。那么現在的問題就在於用戶名和密碼是怎么加密的?

 

四、加密規則

 首先還是找到prelogin.php,在它攜帶的參數中看到有一個ssologin.js,猜測它可能和加密規則有關系,所以找一下這個ssologin.js。

這里需要打開新浪的登錄頁面:https://login.sina.com.cn/,然后右鍵查看源碼,再搜索“ssologin.js”,就能找到這個js文件了:

https://passport.sinaimg.cn/js/sso/ssologin.js

 打開之后搜索“username”,就能找到加密規則了,如下圖(紅框框出來的分別是用戶名加密規則和密碼加密規則):

用戶名的加密是很簡單的,使用base64加密就行了。但是對於密碼的加密有一些復雜,雖然有if和else,但其實這里我們只需要看if部分:

 request.servertime = me.servertime;
request.nonce = me.nonce;
request.pwencode = "rsa2";
request.rsakv = me.rsakv;
var RSAKey = new sinaSSOEncoder.RSAKey();
RSAKey.setPublic(me.rsaPubkey, "10001");
password = RSAKey.encrypt([me.servertime, me.nonce].join("\t") + "\n" + password)

密碼的加密過程為:首先創建一個rsa公鑰,公鑰的兩個參數都是固定值,第一個參數是prelogin.php中的pubkey,第二個參數是加密的ssologin.js文件中指定的10001,這兩個值需要先從16進制轉換成10進制,其中10001轉成十進制為65537。最后再加入servertime時間戳和nonce字段,以及一個“\t”和一個"\n"進行進一步加密。

 

五、主要代碼

 由於使用了rsa加密,所以需要使用導入rsa模塊,沒有安裝的可以使用pip install rsa進行安裝。

 這里主要說一下加密用戶名和密碼部分的代碼:

# Base64加密用戶名
def encode_username(usr):
return base64.b64encode(usr.encode('utf-8'))[:-1]
需要注意的是要使用base64加密,需要先轉換成字節型數據,而且加密之后末尾會多一個"\n",因此需要用[:-1]來去掉多余字符。
# RSA加密密碼
def encode_password(code_str):
pub_key = rsa.PublicKey(int(pubkey, 16), 65537)
crypto = rsa.encrypt(code_str.encode('utf8'), pub_key)
return binascii.b2a_hex(crypto) # 轉換成16進制
在加密密碼的時候傳入的這個code_str參數就是servertime + '\t' + nonce + '\n' + password得到的結果,而在整個加密過程完成之后要轉換成16進制再返回。
但是做了這兩步之后並沒有真的登錄微博,還需要提取鏈接並進行跳轉,不過對於我們來說做到這一步就已經夠了,我們只需要保存此時的Cookie就行了,為了驗證這個Cookie是否有效,我還寫了一段代碼進行測試,這里就不放出來了。


完整代碼已上傳到GitHub


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM