新浪微博爬虫weiboSpider


当我们要爬取新浪微博内容时,有时候就没必要自己去写了,就用现成的,推荐一个我看到的一个github微博爬虫i项目

https://github.com/dataabc/weiboSpider

其实教程的话,我在网上找这个的时候就跟原版的不一样,毕竟人家要更新换代嘛,具体的自己点击上方的链接进去看就好了,其中使用方法还是描述的很具体了

根据本人使用时需要注意的点简短的说一下,希望能对你有所帮助, 本人是win10系统

1.比如教程说的安装环境依赖,其实不过就是下载几个包而已

pip install -r requirements.txt
打开requirements.txt如下

 

 

requests是不是非常熟悉,只要学过爬虫应该都知道这一个库把,假使你用他的方法安装环境依赖没成功,就直接 下载这几个包就好了。

 

2.注意,这个项目的是怕的手机版的微博,找id,cookie这些都要从这个微博网站登录按照教程找https://weibo.cn

 

3.设置config.json文件时把不需要的删掉就好了,假如你不需要数据库就把配置数据库的信息删掉。

 

本人就说到这里了,希望能对你有所帮助。。。。。。。。。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM