寫一個簡單的爬蟲 - 如何模擬登錄網站


設置Developer Tools 以查看完整的登錄過程

如 chrome 的 Developer Tools、firefox 的 httpfox 插件等

推薦 chrome 的 Developer Tools,設置Preserver log 顯示完整的跳轉過程、Disable cache  禁用緩存

關於瀏覽器開發工具,可參考:http://jinlong.github.io/2013/08/29/devtoolsecrets/

 

以163的登錄過程為例:

tips:如果看到Request Headers里帶有Cookie,說明前面還有一步獲取Cookie的過程。

分析登錄過程

第一步的 https://reg.163.com/logins.jsp,post 的參數有三個,其中有username, password,都是明文的。

試試在 url 后面加上 post 的參數看看會發生什么,https://reg.163.com/logins.jsp?username=abcdefg@163.com&password=1234567(將username, password 換為自己的)直接登錄成功。

Tips:有的網站同時支持POST、GET 登錄方式

 

登錄成功后,保存返回的cookie,后續操作帶着該cookie 即可。

有的網站登錄時還有驗證碼等保護措施,不妨直接使用最終跳轉頁面的 cookie,通常有十幾天的保質期,如:

 

原文:http://www.cnblogs.com/congbo/archive/2012/11/04/2753961.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM