1、案例需求：爬取空气质量数据 URL：https://www.aqistudy.cn/html/city_detail.html 2、分析思路： 1.页面中是有相关的查询条件，指定查询条件后点击查询按钮，就会加载出相关的数据。 查询的条件： 城市 ...

反爬机制和破解方法汇总 一什么是爬虫和反爬虫？ 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 二 Headers and referer 反爬机制 *headers进行反爬是最常见的反爬虫策略 ...

爬虫获取数据的这一部分。爬虫请注意网站的Robot.txt文件，不要让爬虫违法，也不要让爬虫对网站造成伤 ...

使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。 这是不是就意味着 ...

爬虫是一种模拟浏览器对网站发起请求，获取数据的方法。简单的爬虫在抓取网站数据的时候，因为对网站访问过于频繁，给服务器造成过大的压力，容易使网站崩溃，因此网站维护者会通过一些手段避免爬虫的访问，以下是几种常见的反爬虫和反反爬虫策略 ...

前言 其实有关AES，之前发过一版的博客文章，python爬虫- js逆向解密之破解AES(CryptoJS)加密的反爬机制 而这次虽然也是AES，但是这次的变化有点大了。 这次的目标对象同样也是我的老朋友给我的，还是老规矩，地址我不会给出来的 打开网址，界面 ...

发现问题 在一次偶然中，在爬取某个公开网站（非商业型网站）时，老方法，打开调试工具查看请求方式，请求拦截，是否是异步加载，不亦乐乎，当我以为这个网站非常简单的时候，发现二级网页的地址和源码不对应 Ajax异步加载？源码也是 ...

前言 同上一篇的aes加密一样，也是偶然发现这个rsa加密的，目标网站我就不说了，保密。 当我发现这个网站是ajax加载时： 我已经习以为常，正在进行爬取时，发现返回为空，我开始用findler抓包，发现它验证了cookie，然后我带上 ...