知识背景： beautifulsoup：是一款非常强大的工具，爬虫利器。“美味的汤，绿色的浓汤”。一个灵活又方便的网页解析库，处理高效，支持多种解析器。 利用它就不用编写正则表达式也能方便的 ...

1、案例需求：爬取空气质量数据 URL：https://www.aqistudy.cn/html/city_detail.html 2、分析思路： 1.页面中是有相关的查询条件，指定查询条件后点击查询按钮，就会加载出相关的数据。 查询的条件： 城市 ...

有个需求爬取知乎文章，正好记录下爬取过程以及出现问题并解决方法 我是在没有登录的情况下爬取文章的 本文仅供研究与学习使用 知乎现今的 x-zse 参数的加密方法已升级成了：x-zse-96 2.0版本。 来看这篇帖子的应该都知道，这个参数动态唯一，没有就拿不到api数据。 查阅了网上有关文章 ...

前言 其实有关AES，之前发过一版的博客文章，python爬虫- js逆向解密之破解AES(CryptoJS)加密的反爬机制 而这次虽然也是AES，但是这次的变化有点大了。 这次的目标对象同样也是我的老朋友给我的，还是老规矩，地址我不会给出来的 打开网址，界面 ...

发现问题 在一次偶然中，在爬取某个公开网站（非商业型网站）时，老方法，打开调试工具查看请求方式，请求拦截，是否是异步加载，不亦乐乎，当我以为这个网站非常简单的时候，发现二级网页的地址和源码不对应 Ajax异步加载？源码也是 ...

前言 同上一篇的aes加密一样，也是偶然发现这个rsa加密的，目标网站我就不说了，保密。 当我发现这个网站是ajax加载时： 我已经习以为常，正在进行爬取时，发现返回为空，我开始用findler抓包，发现它验证了cookie，然后我带上 ...

一、雪碧图 1.前言 　　我们都知道，HTTP 协议即超文本传输协议，是 Web 应用的基础，HTTP 协议又是基于 TCP 协议的，而 TCP 连接的建立是需要时间和资源的。当网页加载时，会需要下载图片资源，如果有非常多的小图片，就需要建立很多 TCP 连接。 　　但勤劳勇敢的前端工作者 ...

接口直接返回的是json数据格式，那就不用去findall各种class了直接处理json数据保存即可 Request URL: https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid ...