當我們要爬取新浪微博內容時,有時候就沒必要自己去寫了,就用現成的,推薦一個我看到的一個github微博爬蟲i項目
https://github.com/dataabc/weiboSpider
其實教程的話,我在網上找這個的時候就跟原版的不一樣,畢竟人家要更新換代嘛,具體的自己點擊上方的鏈接進去看就好了,其中使用方法還是描述的很具體了
根據本人使用時需要注意的點簡短的說一下,希望能對你有所幫助, 本人是win10系統
1.比如教程說的安裝環境依賴,其實不過就是下載幾個包而已
pip install -r requirements.txt
打開requirements.txt如下
requests是不是非常熟悉,只要學過爬蟲應該都知道這一個庫把,假使你用他的方法安裝環境依賴沒成功,就直接 下載這幾個包就好了。
2.注意,這個項目的是怕的手機版的微博,找id,cookie這些都要從這個微博網站登錄按照教程找https://weibo.cn
3.設置config.json文件時把不需要的刪掉就好了,假如你不需要數據庫就把配置數據庫的信息刪掉。
本人就說到這里了,希望能對你有所幫助。。。。。。。。。