爬虫与反爬虫与反反爬虫简介

一.基本概念简介

  1.爬虫:

      自动获取网站数据的程序,关键是批量的获取。

  2.反爬虫:

      使用技术手段防止爬虫程序的方法。

  3.误伤:

      反爬技术将普通用户识别为爬虫,如果误伤过高,效果再好也不能用。(如局域网【学校,网吧等】可能用的是同一个ip,如果有人写了一个爬虫,把ip封了,可能损失很多用户。还有可能ip动态分配,重启路由器ip很有可能切换,而被禁的ip有可能在其他用户那儿。)

  4.拦截:

      成功拦截爬虫,一般拦截率越高,误伤率越高。

二.反爬虫的目的

  1.初级爬虫:

      简单暴力,不管服务器压力,容易弄垮网站。

  2.数据保护:

      保护数据不被窃取。

  3.失控爬虫:

      由于某些情况忘记或无法关闭的爬虫。

  4.商业竞争对手:

      行业间竞争窃取数据。

三.爬虫与反爬虫对抗过程

  

原文地址:https://www.cnblogs.com/lyq-biu/p/9742508.html