fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。 分析过程 首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url ...

前言：本文主要内容是介绍如何用最简单的办法去采集新浪微博的数据，主要是采集指定微博用户发布的微博以及微博收到的回复等内容，可以通过配置项来调整爬取的微博用户列表以及其他属性。 既然说是最简单的办法，那么我们就得先分析微博爬虫可能选择的几个目标网址，首先肯定是最常见的web网站了 还有就是m ...

本文详细介绍了如何利用python实现微博评论的爬取，可以爬取指定微博下的评论。基于的策略是找到微博评论接口，先登录微博，获取cookies，使用requests库发送请求，并且将数据存储到.csv文件中。用到的库request， 首先微博的站点有四个，pc 端weibo.com ...

效果如下所示： ...

当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户的信息。 模拟登录是定向爬虫制作中一个必须克服的问题，只有这样才能爬取到更多的内容。 实现微博登录的方法有很多，一般我们在模拟登录时首选WAP版。 因为PC版网页源码中包括很多的js代码，提交的内容也更多，不适合机器 ...

由于最近没事在学python，正好最近也想趴下新浪微博上边的一些数据，在这里主要爬去的是一个人的粉丝具体信息（微博昵称,个人介绍，地址，通过什么方式进行关注），所以就学以致用，通过python来爬去微博上边的数据。 首先先说下环境啊，使用的是python3.5，然后使用的框架 ...

1.首先在浏览器中进入WAP版微博的网址，因为手机版微博的内容较为简洁，方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤 https://login.weibo.cn/login/ 2.人工输入账号、密码、验证字符，最后最重要的是勾选（记住登录 ...

阅读目录 一.抓包利器Fiddler 二.Cookies与保持登录 三.Cookies模拟登录 四.使用 Post 提交数据的方法实现模拟登录 当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户 ...