反爬概述 网络爬虫，是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护。 于是，很多网站开始反网络爬虫,想方设法保护自己的内容。 他们根据ip访问频率，浏览网页速度，账户登录，输入验证码 ...

爬虫与反爬 爬虫：自动获取网站数据的程序，关键是批量的获取。 反爬虫：使用技术手段防止爬虫程序的方法 误伤：反爬技术将普通用户识别为爬虫，从而限制其访问，如果误伤过高，反爬效果再好也不能使用（例如封ip，只会限制ip在某段时间内不能访问） 成本：反爬虫需要的人力和机器成本 拦截：成功拦截 ...

爬取一些网站的信息时，偶尔会碰到这样一种情况：网页浏览显示是正常的，用python爬取下来是乱码，F12用开发者模式查看网页源代码也是乱码。这种一般是网站设置了字体反爬 一、58同城 用谷歌浏览器打开58同城：https://sz.58.com/chuzu/，按F12用开发者模式查看网页源代码 ...

图片懒加载 如何实现图片懒加载技术 案例 爬取站长之家的图片素材 分析: 正常访问时: 这样直接写xpath表达式定位标签的话获取的值为空 当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载。通过js来完成对图片属性的替换 ...

1、下载安装包 pip install fontTools 2、下载查看工具FontCreator 百度后一路傻瓜式安装即可 3、反爬虫机制 网页上看见的 后台源代码里面的 从上面可以看出，生这个字变成了乱码，请大家特别注意箭头所指的数字。 3、解决 1、确定反爬 ...

前面有一两篇博文介绍过frida，对于做安全和逆向的朋友来说，那简直就是象棋里“車”的存在，走哪杀哪，所以这也对做安全的人来说，肯定也会针对frida做一定的反制，以下就是转载的检测frida的方法， ...

# ajax动态加载网页 # 怎样判断一个网页是不是动态加载的呢？ # 查看网页源代码，如果源码中没有你要的数据，尝试访问下一页，当你点击下一页的时候，整个页面没有刷新， 只是局部刷新了，很大的可能是ajax加载 # 遇到ajax加载，一般的解决步骤就，通过浏览器或者软件抓包分析响应的请求 ...

Cookies的处理 作用 在爬虫中如果遇到了cookie的反爬如何处理? 案例 爬取雪球网中的新闻资讯数据:https://xueqiu.com/ ...