如何拒绝搜索引擎对站点内文件的访问

[转载]
下面是Robot.txt的一些例子,只要把下列的任何一个代码保存为robots.txt,然后传到指定位置,就可以实现逃避搜索引擎的法眼:

  例1. 禁止所有搜索引擎访问网站的任何部分:

  User-agent: *
  Disallow: /

  例2. 允许所有的robot访问:

  User-agent: *
  Disallow:

  例3. 禁止某个搜索引擎的访问:

  User-agent: BadBot
  Disallow: /

  例4. 允许某个搜索引擎的访问:

  User-agent: baiduspider
  Disallow:
  User-agent: *
  Disallow: /

  例5. 一个简单例子:

  在这个例子中,(引导广告:好易广告联盟 http://www.okeaa.com)该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不要写成 "Disallow: /cgi-bin/ /bbs/"。User-agent:后的* 具有特殊的含义,代

表"any robot",所以在该文件中不能有"Disallow: /bbs/*" or "Disallow: *.gif"这样的记录出现.

  User-agent: *
  Disallow: /cgi-bin/
  Disallow: /bbs/
  Disallow: /~private/

原文地址:https://www.cnblogs.com/always/p/569637.html