爬虫_vs_反爬虫

爬虫中有哪些专业术语?

  爬虫:自动获取网站数据的程序,关键是批量的获取

  反爬虫:使用技术手段防止爬虫程序的方法

  误伤:反爬虫技术将普通用户识别为爬虫,效果再好也不能用(禁止ip)

  成本:反爬虫需要人力和机器成本

  拦截:识别为爬虫,拦截几率越高,误伤越高

反爬虫的目的?

       初级爬虫:简单粗暴,不管服务器压力,容易弄挂网站

       数据保护:

       失控的爬虫:由于某种情况下,忘记和无法关闭爬虫

       商业竞争对手

原文地址:https://www.cnblogs.com/2bjiujiu/p/7367854.html