一、通过接口请求，发现4个参数为必要参数 　　1.cookie 　　2.x-zse-93　　固定加密版本， 　　3.x-zse-96　　代解密参数1 　　4.x-zst-81　　代解密参数2（复制固定的也可以一直用） 　　 二、破解x-zse-96 　　1.在js ...

一、获取网页链接 找到自己想要爬取的文章把它们加入urls字典中 二、存储操作 把获取的内容存进csv文件夹 三、网页解析 对得到的网页链接进行内容的爬取并存储 获取头请求： 最后一行就是我们的请求头 四、对多条网页 ...

scrapy作为流行的python爬虫框架，简单易用，这里简单介绍如何使用该爬虫框架爬取个人博客信息。关于python的安装和scrapy的安装配置请读者自行查阅相关资料，或者也可以关注我后续的内容。 本文使用的python版本为2.7.9 scrapy版本为0.14.3 ...

（x-zse-96、x-zse-93、cookie），其中x-zse-93为固定值、cookie为身份认证信息 ...

php爬取微信文章内容 在做官网升级的时遇到新的需求，需要将公司公众号文章显示在官网的文章模块下。但存在的问题是：微信文章的链接会失效，并且需要对文章部分内容做修改，同时要减少微信运营人员的工作量，避免重新上传素材编辑排版等，所以决定根据链接爬取文章的富文本内容。 实现的方式是基于http ...

发现问题 在一次偶然中，在爬取某个公开网站（非商业型网站）时，老方法，打开调试工具查看请求方式，请求拦截，是否是异步加载，不亦乐乎，当我以为这个网站非常简单的时候，发现二级网页的地址和源码不对应 Ajax异步加载？源码也是 ...

前言 同上一篇的aes加密一样，也是偶然发现这个rsa加密的，目标网站我就不说了，保密。 当我发现这个网站是ajax加载时： 我已经习以为常，正在进行爬取时，发现返回为空，我开始用findler抓包，发现它验证了cookie，然后我带上 ...

前言 其实有关AES，之前发过一版的博客文章，python爬虫- js逆向解密之破解AES(CryptoJS)加密的反爬机制 而这次虽然也是AES，但是这次的变化有点大了。 这次的目标对象同样也是我的老朋友给我的，还是老规矩，地址我不会给出来的 打开网址，界面 ...