毕设题目要使用到新浪微博数据，所以要爬取新浪微博的数据。一般而言，新浪微博的爬虫有两种模式：新浪官方API和模拟登录新浪微博。两种方法的异同点和适用情况就无须赘述了。前辈的文章已经非常多了。写这篇文章主要记录自己的探究过程。 参考文章：1，解析新浪微博的登录 ...

这几天一直在研究新浪微博的爬虫，发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下，通过cookie直接访问自己的微博主页。 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍 ...

Selenium的配置 在项目中引入Selenium库 下载chromedriver.exe 在项目代码中加入chromedriver位置的配置 使用Selenium Selenim语法 智能等待 ...

因为项目原因，我被领导委任爬取微博用户的一些信息，而作为一个爬虫经验几乎为0的python非老司机，开始了漫长的研究之路。。。。 在了解了爬虫的基本工具和著名框架scrapy后 博主还是决定自己参考网上的各路大神的脚本，写一个登录脚本。。。。 环境 tools 1、Chrome ...

微博登录的实现代码来源：https://gist.github.com/mrluanma/3621775 相关环境 使用的python3.4，发现配置好环境后可以直接使用pip easy_install命令安装第三方库，比如本示例需要依赖的库： 代码实现 以下代码主要是登录成功后 ...

环境： Python3 + windows。 开发工具：Anaconda + Jupyter / VS Code。 学习效果： 认识爬虫 / Robots协议 了解浏览器开发者工具 动态加载页面的处理 手机客户端页面 ...

1 本节目标 本次爬取的日标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以 及发布的微博等，这些信息抓取之后保存至 MongoDB ...

这几天要做个获取新浪微博@我的信息， 又不用第三方登录，所以只能通过模拟登录来获取信息，研究的一下发现直接模拟登录微博比较困难，验证的算法比较复杂，于是绕道通过登录新浪通行证后来获取cookie 来获取信息,代码如下。 ...