本文由博主原創,轉載請注明出處：我的博客-知乎爬蟲之3:請求分析
git爬蟲項目地址(關注和star在哪里~~):https://github.com/MatrixSeven/ZhihuSpider （已經完結）
附贈之前爬取的數據一份(mysql): 鏈接:https://github.com/MatrixSeven/ZhihuSpider/README.MD 只下載不點贊，不star，差評差評~藍瘦香菇）
咱們上一篇所長說了爬蟲的爬取大概思路：知乎爬蟲之2:爬蟲流程設計(附贈爬出的數據庫),這一篇幅就來研究分析下模擬登陸知乎.
ps：拿數據的好多啊~只下載不點贊，不star，藍瘦香菇
首先來說,網上模擬登陸知乎的文章已經是多不勝數,而且模擬登陸知乎也比模擬登陸微博百度簡單很多,但是本着善始善終的原則,咱們還是重頭到尾的過上一遍.
1.工具
恩,工具呢,就用咱們自己平時用的瀏覽器就ok.牛逼閃閃的f12,就足夠用.然后在使用下Fiddler來查看下登陸狀態…
2.登陸分析
打開http://www.zhihu.com,點擊登陸,然后直接F12,調試出開發者工具,選擇NetWork,輸入賬號 密碼 和驗證碼,點擊登陸,發現右側出現了網絡請求.
發現有個email的請求,請求信息為:
請求地址:https://www.zhihu.com/login/email
請求方式:post
下面的內容先不去管它,直接拽到最下面:
..發現有如下信息
_xsrf:xxxxxxxxxxxxxxxxxx
password:xxxxx
captcha:HDMG
email:xxxxxx@xx.com
恩,就是Post一下,看看登陸時候成功,並且抓一下登陸失敗時的錯誤信息.
故意輸入錯誤郵箱 ,密碼
拿到如下結果:
1. 郵箱不存在:
2. 密碼錯誤:
那么登陸成功是怎么一種標識狀態呢?
咱們這里借助下Fiddler
打開Fiddler,再次進項知乎登陸,然后找到 https://www.zhihu.com/login/email 這個請求.發現登陸成功后返回了一個Json串:
恩,那么還有一個_xsrf,那么這個參數在哪里呢?
其實_xsrf這種東西,基本都存在於頁面的源碼里,打開登陸頁面,右鍵查看查看源代碼,可發現:
哈哈,原來在一個隱藏域里....
哈哈,這是不是故意就讓人爬的了...過程比我想象中的簡單很多..
但是具體行不行呢,還得上代碼試一試哈哈...
## 3.跟隨/關注分析
直接打開https://www.zhihu.com/people/Sweets07/followers,然后f12,開始分析請求.
直接滾動頁面,發現出現異步請求,請求地址為:
https://www.zhihu.com/api/v4/members/Sweets07/followers?per_page=10&include=data%5B%2A%5D.employments%2Ccover_url%2Callow_message%2Canswer_count%2Carticles_count%2Cfavorite_count%2Cfollower_count%2Cgender%2Cis_followed%2Cmessage_thread_token%2Cis_following%2Cbadge%5B%3F%28type%3Dbest_answerer%29%5D.topics&limit=10&offset=30
可發現請求參數為:
include:data[*].employments,cover_url,allow_message,answer_count,articles_count,favorite_count,follower_count,gender,is_followed,message_thread_token,is_following,badge[?(type=best_answerer)].topics
limit:10
offset:30
返回的Json為:
哇塞.里面有各種信息...
如:
1. 下一個請求的地址
2. 人員信息,id啊,頭像啊,學校,公司,簽名啊,關注人數.....
恩,其實咱們拿一部分就夠了,對,就是那個ID...有的id就可以直接打開個人頁面了..然后說這個請求有些問題,因為直接帶着cookie get會出現一個錯誤:
{"message":"身份未經過驗證","code":100,"name":"AuthenticationException"}
這個是因為在請求的時候多了一個頭:
那么這個參數在哪里呢??
找來找去,最后發現,這個參數在請求個人主頁信息的cookie里.
跟隨者和關注者差不多.....
就到這里吧,下一步開始擼代碼...
//吾愛Java(QQ群):170936712（點擊加入）