当我们要爬取新浪微博内容时，有时候就没必要自己去写了，就用现成的，推荐一个我看到的一个github微博爬虫i项目 https://github.com/dataabc/weiboSpider 其实教程的话，我在网上找这个的时候就跟原版的不一样，毕竟人家要更新换代嘛，具体的自己点击上方的链接 ...

fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。 分析过程 首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url ...

摘要：本篇文章我将对“新浪微博”进行详细分析。从新浪微博诞生之初，经历了哪些发展阶段，通过调研来得到其他用户使用该产品的直观感受，列出该产品与其他类似产品的对比，分析其优劣势，从而提出个人的一点儿建议。 1.介绍产品的相关信息 1.1 选择的产品及选择该产品的原因 我选择的产品是——新浪 ...

时间过得飞快，距离上次SDK更新已经3年有余。随着官方的不断跟新，老版SDK的部分接口已经不能正常使用。因此在QQ群里来吐槽的、来谩骂的朋友也开始多了起来。随着时代的发展，微博已经彻底的被微信甩开，因此对它的兴趣已经丧失；同时对我自己来说，那么几年在行业里面为了生存而奔波，日子越混越差，已经无暇 ...

前言：本文主要内容是介绍如何用最简单的办法去采集新浪微博的数据，主要是采集指定微博用户发布的微博以及微博收到的回复等内容，可以通过配置项来调整爬取的微博用户列表以及其他属性。 既然说是最简单的办法，那么我们就得先分析微博爬虫可能选择的几个目标网址，首先肯定是最常见的web网站了 还有就是m ...

1.首先在浏览器中进入WAP版微博的网址，因为手机版微博的内容较为简洁，方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤 https://login.weibo.cn/login/ 2.人工输入账号、密码、验证字符，最后最重要的是勾选（记住登录 ...

阅读目录 一.抓包利器Fiddler 二.Cookies与保持登录 三.Cookies模拟登录 四.使用 Post 提交数据的方法实现模拟登录 当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户 ...

一、写在前面 首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个 ...