本來給自己定了個2018的目標，平均每月寫兩篇文章，現在已經快三月了，第一篇稿子才憋出來，慚愧呀，直入主題吧，今天給大家帶來的是新浪微博PC端的模擬登陸。
工具
這次使用的工具是Charles和chrome瀏覽器，看過我之前文章的同學應該知道我使用的Mac電腦，Fiddler不能用，之前用虛擬機很麻煩。很早的時候有裝過Charles，但是不太會用，后來發現一篇比較詳細的文章，忘了記錄了。發現Charles還是非常好用的，而且有個很好的功能，就是可以開啟多個Session進行抓取對比，這個功能非常👍，如果經常做爬蟲調試的人一定能知道。我們抓取一個網站的登錄過程，然后在模擬的過程中，可以再另一個session中抓取自己模擬登錄的過程，然后對比一下自己的請求發送的數據和瀏覽器請求發送的數據是否一致。之前我調試一直都是通過打印查看，這樣一方面很不方便，另外一方面打印也不完整。所以非常推薦大家使用Charles，網上破解也有很多。
打開Charles，要開啟SSL代理抓取，這樣才能抓取到HTTPS請求，畢竟現在很多網站都已經使用HTTPS請求了
Host填*表示匹配所有網址，HTTP請求端口是80端口，HTTPS請求端口是443端口，設置好就可以開始抓取了。
抓取請求
打開chrome瀏覽器，最好清理緩存，然后使用隱身模式訪問https://weibo.com/
在網頁上執行一遍登錄操作
抓取到登錄過程后，我們就可以開始分析了，記住一定要清理緩存。我有好幾次抓取都不一樣，后來換了Safari瀏覽器（因為我很少用這個），其實這一步用什么瀏覽器都無所謂，chrome瀏覽器主要是用來調試JS用的。
過程分析
查找登錄請求
登錄一般url里面應該都會有login，而且是post請求，當然不排除其他方式。
https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)
找到登錄請求后，這里主要關注Form表單信息，參數很多，我們需要先大概區分一下哪些可能是固定參數，哪些是變化的參數。
一目了然可以看到那些是固定的了吧，這些所有的參數其實我們都是可以追根溯源的，但是沒那個必要，在這種參數比較多的情況下，太費事了，可以采用多次抓取登錄過程，對比請求參數的方式確定部分固定的或者不重要的參數，那么需要我們通過其他方式獲取的參數有pcid、door、su、servertime、nonce、rsakv、sp、prelt，這里servertime比較有爭議，一般看到這種time或者151開頭的10位或者13位數字，都是時間戳，用time.time()獲取就可以，但是這里是servertime，我們應該引起注意。
參數分析
下面我們一一來看這幾個參數怎么獲取
-
su
我們要先說一下這個su，因為其他的參數都和它有關系。這個su在js調試的時候可以看到它的算法，但是其實我們可以根據它的特點先猜測一下，有可能是base64加密的。為什么？Base64是一種基於64個可打印字符來表示二進制數據的方法，哪64個字符呢？ A-Z、a-z、0-9和"+"、"/"，很多時候base64加密的字符串尾部為 1個或2個 "="， 因為它是把3個字節的二進制拼接，如果最后剩下一個，那么尾部就會添加2個=， 如果剩下兩個，尾部就添加1個=，如果剛合適那當然就沒有=了
推薦一個工具網站https://tool.lu/encdec/
使用編解碼試試看，最終我發現是賬號，而且是采用了url encode和base64編碼，所有最終我們的su就是
- pcid、servertime、nonce、rsakv
它的值時gz-48fb749c5c715e0d5caeed045716492e153c，我們先在Charles中搜索一下
我們一般都是搜索response的數據，主要是看一下是不是在某一個請求的返回值里面，這里非常棒，我們找到了pcid和值出現的地方https://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=MTgwOTE3MzQxMzY%3D&rsakt=mod&checkpin=1&client=ssologin.js(v1.4.19)&_=1518956150179，在這個請求的返回值里面，而且我們還有意外的收獲，我們得到了四個參數，和登錄請求里面的一樣，👌我們現在確定了四個參數的來源，
看一下請求的參數
除了su和下面的時間戳其他的參數基本固定，時間戳沒什么特點，我們就用int(time.time() * 1000)生成，因為是13位的。su我們上面已經知道了。那么這四個參數也搞定了✌️ - door
door很熟悉吧，是驗證碼。那么驗證碼的請求怎么確定，非常簡單因為我們的驗證碼是一張圖片，所以找圖片請求就可以了
這個往上翻一翻就能很快找到，找到后我們看看它的參數
p的值就是pcid的值，我們已經知道了。r有點不太好找了，先在Charles里搜一下62026273，沒找到，那么應該就是本地生成的，其實你可以寫死試試，有沒有問題。除了搜這個值以外，我們還可以搜一下這個請求是在哪里生成的，看它附近有沒有有用的數據。
搜一部分就行了，先用小部分搜，如果結果太多，在多加一些搜索，這里我們找到了一條，點擊去看一看，點到JavaScript那個頁簽，Charles會幫我們格式化js
找到了pincodeUrl，再搜索一下pincodeUrl
看到沒有，開不開心？激不激動？
- prelt
這個參數和驗證碼請求的那個r參數類似，值搜不到，但是我們可以搜這個prelt，你問r那個為啥不搜？[鄙視眼]你猜猜能搜到多少？
同樣點進去，切換到JavaScript頁簽，發現了preloginTime，再搜它吧
多搜一些你就發現它應該是個時間段，結合prelt本身的值，我們就可以構造出一個值。可以通過多次請求來確定一個范圍，另外時間差，而且它用的是本地的時間計算的，那么也不需要多么精確，確定一個范圍應該就可以了，所以在一個范圍內取隨機數就行了
-sp
最麻煩的來了，sp這么長一段，觀察其特點，發現應該是16進制，所有字符都是在0-9、a-f之間，而且參數pwencode的值rsa2，基本上我們就可以確定其采用的是rsa加密算法。這串字符肯定是搜索不到的，可以搜sp，刪掉明顯不是的，我們一般看的是sp=xx這樣的，就是看賦值，從賦值的操作上下文去查看
經過過濾分析，只剩下兩個地方https://passport.weibo.com/visitor/visitor?entry=miniblog&a=enter&url=https%3A%2F%2Fweibo.com%2F&domain=.weibo.com&ua=php-sso_sdk_client-0.6.23&_rand=1518956141.4946和https://js1.t.sinajs.cn/t5/register/js/v6/pl/register/loginBox/index.js?version=d7a77880fa9c5f84
然后打開chrome瀏覽器，開發者工具，然后訪問https://weibo.com，切換到source頁簽找到這兩個js文件，並搜索sp，通過觀察特點基本確認為第二個js文件
e.sp = b，在b的計算之前打上斷點，然后執行登錄操作，這里我們還發現了su的計算算法，跟我們上面分析的基本一致
通過調試這段代碼我們就得到了其加密方式，這里有幾個變量me.rsaPubkey、me.servertime、me.nonce、b，通過console中查看b是密碼，然后就是這pubkey
在上面pcid參數的請求的返回值里面我們看到有這個值。OK這幾個變量我們都知道了，下面你了解一下rsa加密算法的python實現，直接貼代碼
執行登錄請求
登錄請求的所有參數都已經分析完了，登錄后查看response數據
然后再看一下登錄請求的下一個請求，發現是通過登錄請求的返回值中的url，然后發送此請求
返回值中又出現了另外一個url，我們在下面也找到了，提取url發送請求
看到返回狀態了嗎？302重定向。發送請求以后查看一下response的url，發現是在它下面的請求地址
返回值和下面的請求好像有點關聯，有下一個請求的參數。別急，先等等，我們就這樣一直請求、提取請求、再請求，得有個終點吧，到哪里算一站呢。我們想想登錄以后，顯示一個頁面有用戶名。我們只要能得到這個用戶名那就說明登錄成功了。
這里看到了這個home請求中出現了我的用戶昵稱，然后上面那個請求的返回狀態302，又是重定向。使用上面的方式確認一下。提取userdomain，然后拼接https://weibo.com/
成功了
這一次寫這篇博文就順暢多了，還是知識積累的問題。后面還有一篇百度登錄分析的，發現百度這個確實是很復雜，目前還沒搞定。盡請期待哦
如果你覺得我的文章還可以，可以關注我的微信公眾號：Python爬蟲實戰之路
也可以掃描下面二維碼，添加我的微信號
