Selenium的配置 在项目中引入Selenium库 下载chromedriver.exe 在项目代码中加入chromedriver位置的配置 使用Selenium Selenim语法 智能等待 ...

为了总结一下Selenium的用法，具体用了这个例子来说明一下。 Selenium简单来说，就是通过程序驱动一个浏览器，并且可以通过程序来帮你做一些事情，例如点击、填表呀之类的。 换句话说，你在浏览器上面看到的东西，他都能给你呈现；你能在页面上做的东西，它也能做。 Selenium厉害的地方 ...

fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。 分析过程 首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url ...

前言 对于很少玩微博@張行之_的我来说，微博内容少的可怜。所以本人就想：能不能写个成功程序来帮我发微博。这个程序要满足以下要求： 自动化，自动登录微博，自动发微博。 微博内容要有意义，不能是随机生成的字符。 可以设置每隔一段时间发一条微博，频率不能太快，当然也不能太慢 ...

因为项目原因，我被领导委任爬取微博用户的一些信息，而作为一个爬虫经验几乎为0的python非老司机，开始了漫长的研究之路。。。。 在了解了爬虫的基本工具和著名框架scrapy后 博主还是决定自己参考网上的各路大神的脚本，写一个登录脚本。。。。 环境 tools 1、Chrome ...

1.首先在浏览器中进入WAP版微博的网址，因为手机版微博的内容较为简洁，方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤 https://login.weibo.cn/login/ 2.人工输入账号、密码、验证字符，最后最重要的是勾选（记住登录 ...

阅读目录 一.抓包利器Fiddler 二.Cookies与保持登录 三.Cookies模拟登录 四.使用 Post 提交数据的方法实现模拟登录 当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户 ...

一、写在前面 首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个 ...