新浪微博爬蟲weiboSpider


當我們要爬取新浪微博內容時,有時候就沒必要自己去寫了,就用現成的,推薦一個我看到的一個github微博爬蟲i項目

https://github.com/dataabc/weiboSpider

其實教程的話,我在網上找這個的時候就跟原版的不一樣,畢竟人家要更新換代嘛,具體的自己點擊上方的鏈接進去看就好了,其中使用方法還是描述的很具體了

根據本人使用時需要注意的點簡短的說一下,希望能對你有所幫助, 本人是win10系統

1.比如教程說的安裝環境依賴,其實不過就是下載幾個包而已

pip install -r requirements.txt
打開requirements.txt如下

 

 

requests是不是非常熟悉,只要學過爬蟲應該都知道這一個庫把,假使你用他的方法安裝環境依賴沒成功,就直接 下載這幾個包就好了。

 

2.注意,這個項目的是怕的手機版的微博,找id,cookie這些都要從這個微博網站登錄按照教程找https://weibo.cn

 

3.設置config.json文件時把不需要的刪掉就好了,假如你不需要數據庫就把配置數據庫的信息刪掉。

 

本人就說到這里了,希望能對你有所幫助。。。。。。。。。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM