為了學習機器學習深度學習和文本挖掘方面的知識，需要獲取一定的數據，新浪微博的大量數據可以作為此次研究歷程的對象 一、環境准備 python 2.7 scrapy框架的部署（可以查看上一篇博客的簡要操作，傳送門： 點擊打開鏈接） mysql的部署（需要的資源 ...

一、寫在前面 首先呢，由於之前重裝系統，又要重新配置環境，然后還有一些別的事，導致我一直沒有寫爬蟲了，不過現在又可以繼續寫了。 然后我這次說的模擬登錄新浪微博呢，不是使用Selenium模擬瀏覽器操作，畢竟Selenium的效率是真的有些低，所以我選擇用Python發送請求實現模擬登錄，整個 ...

fiddler 之前了解了一些常見到的反爬措施，JS加密算是比較困難，而微博的登錄中正是用JS加密來反爬，今天來了解一下。 分析過程 首先我們去抓包，從登錄到微博首頁加載出來的過程。我們重點關注一下登錄操作，其次是首頁的請求，登錄一般是POST請求。我們搜索一下： 得知登錄的url ...

Python爬蟲教程-34-分布式爬蟲介紹 分布式爬蟲在實際應用中還算是多的，本篇簡單介紹一下分布式爬蟲 什么是分布式爬蟲 分布式爬蟲就是多台計算機上都安裝爬蟲程序，重點是聯合采集。單機爬蟲就是只在一台計算機上的爬蟲。 其實搜索引擎都是爬蟲，負責從世界各地的網站上爬 ...

當我們要爬取新浪微博內容時，有時候就沒必要自己去寫了，就用現成的，推薦一個我看到的一個github微博爬蟲i項目 https://github.com/dataabc/weiboSpider 其實教程的話，我在網上找這個的時候就跟原版的不一樣，畢竟人家要更新換代嘛，具體的自己點擊上方的鏈接 ...

redis分布式部署 - 概念：可以將一組程序執行在多台機器上（分布式機群），使其進行數據的分布爬取。 1.scrapy框架是否可以自己實現分布式？ 　　其一：因為多台機器上部署的scrapy會各自擁有各自的調度器，這樣就使得多台機器無法分配start_urls列表中的url。（多台 ...

第一：Redis 是什么？ Redis是基於內存、可持久化的日志型、Key-Value數據庫 高性能存儲系統，並提供多種語言的API. 第二：出現背景 數據結構(Data Structur ...

1.首先在瀏覽器中進入WAP版微博的網址，因為手機版微博的內容較為簡潔，方便后續使用正則表達式或者beautifulSoup等工具對所需要內容進行過濾 https://login.weibo.cn/login/ 2.人工輸入賬號、密碼、驗證字符，最后最重要的是勾選（記住登錄 ...