fiddler 之前了解了一些常見到的反爬措施，JS加密算是比較困難，而微博的登錄中正是用JS加密來反爬，今天來了解一下。 分析過程 首先我們去抓包，從登錄到微博首頁加載出來的過程。我們重點關注一下登錄操作，其次是首頁的請求，登錄一般是POST請求。我們搜索一下： 得知登錄的url ...

閱讀目錄 一.抓包利器Fiddler 二.Cookies與保持登錄 三.Cookies模擬登錄 四.使用 Post 提交數據的方法實現模擬登錄 當我們試圖從新浪微博抓取數據時，我們會發現網頁上提示未登錄，無法查看其他用戶 ...

一、寫在前面 首先呢，由於之前重裝系統，又要重新配置環境，然后還有一些別的事，導致我一直沒有寫爬蟲了，不過現在又可以繼續寫了。 然后我這次說的模擬登錄新浪微博呢，不是使用Selenium模擬瀏覽器操作，畢竟Selenium的效率是真的有些低，所以我選擇用Python發送請求實現模擬登錄，整個 ...

當我們試圖從新浪微博抓取數據時，我們會發現網頁上提示未登錄，無法查看其他用戶的信息。 模擬登錄是定向爬蟲制作中一個必須克服的問題，只有這樣才能爬取到更多的內容。 實現微博登錄的方法有很多，一般我們在模擬登錄時首選WAP版。 因為PC版網頁源碼中包括很多的js代碼，提交的內容也更多，不適合機器 ...

這幾天一直在研究新浪微博的爬蟲，發現爬取微博的數據首先要登錄。本來打算是通過賬號和密碼模擬瀏覽器登錄。但是現在微博的登錄機制比較復雜。通過賬號密碼還沒有登錄成功QAQ。所以就先記錄下，通過cookie直接訪問自己的微博主頁。 微博登錄的認證過程 微博登錄的細節在其他的博客里已經有了詳細的介紹 ...

由於最近沒事在學python，正好最近也想趴下新浪微博上邊的一些數據，在這里主要爬去的是一個人的粉絲具體信息（微博昵稱,個人介紹，地址，通過什么方式進行關注），所以就學以致用，通過python來爬去微博上邊的數據。 首先先說下環境啊，使用的是python3.5，然后使用的框架 ...

昨天把selenium的官網教程瀏覽了一遍，英文差，看得費勁，最后借助詞典大體了解了selenium的webdriver(⊙﹏⊙) 紙上得來終覺淺，絕知此事要躬行。廢話少說，直接上例子~ 題目：登錄新浪微博 思路：因為沒有涉及到驗證碼，所以直接用賬號密碼登錄，設置一個檢查點判斷是否登錄 ...

Selenium的配置 在項目中引入Selenium庫 下載chromedriver.exe 在項目代碼中加入chromedriver位置的配置 使用Selenium Selenim語法 智能等待 ...