一、写在前面 首先呢,由于之前重装系统,又要重新配置环境,然后还有一些别的事,导致我一直没有写爬虫了,不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢,不是使用Selenium模拟浏览器操作,毕竟Selenium的效率是真的有些低,所以我选择用Python发送请求实现模拟登录,整个 ...
此次爬虫要实现的是爬取某个微博用户的关注和粉丝的用户公开基本信息,包括用户昵称 id 性别 所在地和其粉丝数量,然后将爬取下来的数据保存在MongoDB数据库中,最后再生成几个图表来简单分析一下我们得到的数据。 一 具体步骤: 这里我们选取的爬取站点是https: m.weibo.cn,此站点是微博移动端的站点,我们可以直接查看某个用户的微博,比如https: m.weibo.cn profile ...
2018-11-21 13:50 0 1105 推荐指数:
一、写在前面 首先呢,由于之前重装系统,又要重新配置环境,然后还有一些别的事,导致我一直没有写爬虫了,不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢,不是使用Selenium模拟浏览器操作,毕竟Selenium的效率是真的有些低,所以我选择用Python发送请求实现模拟登录,整个 ...
效果如下所示: ...
抓取代码: 登录窗口 ...
:主函数 第八步:获取id 你需要获得想要找的微博id,那么对于小白来说 ...
fiddler 之前了解了一些常见到的反爬措施,JS加密算是比较困难,而微博的登录中正是用JS加密来反爬,今天来了解一下。 分析过程 首先我们去抓包,从登录到微博首页加载出来的过程。我们重点关注一下登录操作,其次是首页的请求,登录一般是POST请求。我们搜索一下: 得知登录的url ...
微博模拟登录 这是本次爬取的网址:https://weibo.com/ 一、请求分析 找到登录的位置,填写用户名密码进行登录操作 看看这次请求响应的数据是什么 这是响应得到的数据,保存下来 继续完善登录操作,输入密码,点击登录按钮 经过分析呢,发现变化的参数就是sp ...
获取cookie 用浏览器登录微博:新浪微博 注意事项:在登录之前先按F12,确保跳出以下界面,试过很多次找不到cookie就是因为没先打开这个: 然后登录微博,找到自己的cookie,把cookie保存下来后面用来访问微博,接下来就可以进入正题了。 1.导入 ...