因为项目原因，我被领导委任爬取微博用户的一些信息，而作为一个爬虫经验几乎为0的python非老司机，开始了漫长的研究之路。。。。 在了解了爬虫的基本工具和著名框架scrapy后 博主还是决定自己参考网上的各路大神的脚本，写一个登录脚本。。。。 环境 tools 1、Chrome ...

毕设题目要使用到新浪微博数据，所以要爬取新浪微博的数据。一般而言，新浪微博的爬虫有两种模式：新浪官方API和模拟登录新浪微博。两种方法的异同点和适用情况就无须赘述了。前辈的文章已经非常多了。写这篇文章主要记录自己的探究过程。 参考文章：1，解析新浪微博的登录 ...

这几天一直在研究新浪微博的爬虫，发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下，通过cookie直接访问自己的微博主页。 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍 ...

隐式等待 显式等待 模拟登陆并获取Cookie的代码 1 ...

上篇介绍了如何模拟登录手机版微博，过程还是比较简单的，没有设计到复杂的加密部分。 登录Web版微博的过程还是一样的，只不过这次需要提交的数据多一点。 其中密码部分进行了加密，加密的算法在网页的js文件里，网上有人把它改成了Java代码。 下面是SinaSSoEncoder类 ...

环境：Ubuntu 16.04 python版本3.5+ ...

阅读目录 一.抓包利器Fiddler 二.Cookies与保持登录 三.Cookies模拟登录 四.使用 Post 提交数据的方法实现模拟登录 当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户 ...

上一篇文章小试牛刀：使用Python模拟登录知乎介绍了如何模拟知乎登录，虽然用到了验证码信息，但请求的参数都是原封不动的传递，刚开始接触的时候，觉得难度适中，回头再看的时候，反而感觉挺容易的。在这篇文章，将继续介绍模拟登录。与之前不一样的是，这次选择的对象是新浪微博，难度稍微提升了点，好在以往 ...