msn爬虫频繁来访

  这两天大家访问博客园时,有时会遇到"503 Service Unavailable"的错误提示,那是因为msn爬虫频繁访问博客园造成同时连接过多引起的,msn爬虫的UserAgent为:msnbot/1.1 (+http://search.msn.com/msnbot.htm)。为了保证网站的正常访问,我们不得不暂时封了msn爬虫的IP(目前已封了4个IP),但msn爬虫会变身(改变IP)来访,我们会继续关注msnbot的来访。

  博客园曾经因为sohu爬虫、Yahoo爬虫、soso爬虫的频繁来访影响网站的正常运行,现在又多了一个msnbot。

原文地址:https://www.cnblogs.com/cmt/p/1409753.html