当我们要爬取新浪微博内容时,有时候就没必要自己去写了,就用现成的,推荐一个我看到的一个github微博爬虫i项目
https://github.com/dataabc/weiboSpider
其实教程的话,我在网上找这个的时候就跟原版的不一样,毕竟人家要更新换代嘛,具体的自己点击上方的链接进去看就好了,其中使用方法还是描述的很具体了
根据本人使用时需要注意的点简短的说一下,希望能对你有所帮助, 本人是win10系统
1.比如教程说的安装环境依赖,其实不过就是下载几个包而已
pip install -r requirements.txt
打开requirements.txt如下
requests是不是非常熟悉,只要学过爬虫应该都知道这一个库把,假使你用他的方法安装环境依赖没成功,就直接 下载这几个包就好了。
2.注意,这个项目的是怕的手机版的微博,找id,cookie这些都要从这个微博网站登录按照教程找https://weibo.cn
3.设置config.json文件时把不需要的删掉就好了,假如你不需要数据库就把配置数据库的信息删掉。
本人就说到这里了,希望能对你有所帮助。。。。。。。。。