當我們要爬取新浪微博內容時，有時候就沒必要自己去寫了，就用現成的，推薦一個我看到的一個github微博爬蟲i項目 https://github.com/dataabc/weiboSpider 其實教程的話，我在網上找這個的時候就跟原版的不一樣，畢竟人家要更新換代嘛，具體的自己點擊上方的鏈接 ...

fiddler 之前了解了一些常見到的反爬措施，JS加密算是比較困難，而微博的登錄中正是用JS加密來反爬，今天來了解一下。 分析過程 首先我們去抓包，從登錄到微博首頁加載出來的過程。我們重點關注一下登錄操作，其次是首頁的請求，登錄一般是POST請求。我們搜索一下： 得知登錄的url ...

摘要：本篇文章我將對“新浪微博”進行詳細分析。從新浪微博誕生之初，經歷了哪些發展階段，通過調研來得到其他用戶使用該產品的直觀感受，列出該產品與其他類似產品的對比，分析其優劣勢，從而提出個人的一點兒建議。 1.介紹產品的相關信息 1.1 選擇的產品及選擇該產品的原因 我選擇的產品是——新浪 ...

時間過得飛快，距離上次SDK更新已經3年有余。隨着官方的不斷跟新，老版SDK的部分接口已經不能正常使用。因此在QQ群里來吐槽的、來謾罵的朋友也開始多了起來。隨着時代的發展，微博已經徹底的被微信甩開，因此對它的興趣已經喪失；同時對我自己來說，那么幾年在行業里面為了生存而奔波，日子越混越差，已經無暇 ...

前言：本文主要內容是介紹如何用最簡單的辦法去采集新浪微博的數據，主要是采集指定微博用戶發布的微博以及微博收到的回復等內容，可以通過配置項來調整爬取的微博用戶列表以及其他屬性。 既然說是最簡單的辦法，那么我們就得先分析微博爬蟲可能選擇的幾個目標網址，首先肯定是最常見的web網站了 還有就是m ...

1.首先在瀏覽器中進入WAP版微博的網址，因為手機版微博的內容較為簡潔，方便后續使用正則表達式或者beautifulSoup等工具對所需要內容進行過濾 https://login.weibo.cn/login/ 2.人工輸入賬號、密碼、驗證字符，最后最重要的是勾選（記住登錄 ...

閱讀目錄 一.抓包利器Fiddler 二.Cookies與保持登錄 三.Cookies模擬登錄 四.使用 Post 提交數據的方法實現模擬登錄 當我們試圖從新浪微博抓取數據時，我們會發現網頁上提示未登錄，無法查看其他用戶 ...

一、寫在前面 首先呢，由於之前重裝系統，又要重新配置環境，然后還有一些別的事，導致我一直沒有寫爬蟲了，不過現在又可以繼續寫了。 然后我這次說的模擬登錄新浪微博呢，不是使用Selenium模擬瀏覽器操作，畢竟Selenium的效率是真的有些低，所以我選擇用Python發送請求實現模擬登錄，整個 ...