爬虫与反爬虫与反反爬虫简介


一.基本概念简介

  1.爬虫:

      自动获取网站数据的程序,关键是批量的获取。

  2.反爬虫:

      使用技术手段防止爬虫程序的方法。

  3.误伤:

      反爬技术将普通用户识别为爬虫,如果误伤过高,效果再好也不能用。(如局域网【学校,网吧等】可能用的是同一个ip,如果有人写了一个爬虫,把ip封了,可能损失很多用户。还有可能ip动态分配,重启路由器ip很有可能切换,而被禁的ip有可能在其他用户那儿。)

  4.拦截:

      成功拦截爬虫,一般拦截率越高,误伤率越高。

二.反爬虫的目的

  1.初级爬虫:

      简单暴力,不管服务器压力,容易弄垮网站。

  2.数据保护:

      保护数据不被窃取。

  3.失控爬虫:

      由于某些情况忘记或无法关闭的爬虫。

  4.商业竞争对手:

      行业间竞争窃取数据。

三.爬虫与反爬虫对抗过程

  

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM