fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。 分析过程 首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url ...

阅读目录 一.抓包利器Fiddler 二.Cookies与保持登录 三.Cookies模拟登录 四.使用 Post 提交数据的方法实现模拟登录 当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户 ...

一、写在前面 首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个 ...

当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户的信息。 模拟登录是定向爬虫制作中一个必须克服的问题，只有这样才能爬取到更多的内容。 实现微博登录的方法有很多，一般我们在模拟登录时首选WAP版。 因为PC版网页源码中包括很多的js代码，提交的内容也更多，不适合机器 ...

这几天一直在研究新浪微博的爬虫，发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下，通过cookie直接访问自己的微博主页。 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍 ...

由于最近没事在学python，正好最近也想趴下新浪微博上边的一些数据，在这里主要爬去的是一个人的粉丝具体信息（微博昵称,个人介绍，地址，通过什么方式进行关注），所以就学以致用，通过python来爬去微博上边的数据。 首先先说下环境啊，使用的是python3.5，然后使用的框架 ...

昨天把selenium的官网教程浏览了一遍，英文差，看得费劲，最后借助词典大体了解了selenium的webdriver(⊙﹏⊙) 纸上得来终觉浅，绝知此事要躬行。废话少说，直接上例子~ 题目：登录新浪微博 思路：因为没有涉及到验证码，所以直接用账号密码登录，设置一个检查点判断是否登录 ...

Selenium的配置 在项目中引入Selenium库 下载chromedriver.exe 在项目代码中加入chromedriver位置的配置 使用Selenium Selenim语法 智能等待 ...