网站后台禁止搜索引擎抓取

页面的各大meta标签noindex、nofollow、noarchive及nosnippet用法索引擎更好地理解你的网站内容的种类 . 比如Yahoo!的noodp Meta标签 ,作用就是防止搜索引擎调用ODP上面的描述性语句 .
    Google所支持的Meta标签也不少 ,比如Google官方讲解的就有noindex、nofollow、noarchive及nosnippet . 如果你对Google的长篇大论感到厌倦 ,下面的介绍你将容易理解的多:
noindex:告诉Google不要索引含此标签的网页 . 但根据实际经验 ,Google并非100%遵守 . nofollow:告诉Google不要关注含此标签的网页里的特定链接 . 这是为了解决链接SPAM而设计的Meta标签 . noarchive:告诉Google不要保存含此标签的网页的快照 . nosnippet:告诉Google不要在搜索结果页的列表里显示含此标签的网站的描述语句 ,并且不要在列表里显示快照链接
    相关用法:NOINDEX指令:表示拒绝Robot索引本页 ,但可跟踪该页上的链接;如果某个页面不想被索引 ,那么添加noindex属性就可以了
Robots用来告诉搜索机器人哪些页面需要索引 ,哪些页面不需要索引 . Content的参数有all、none、index、noindex、 follow、nofollow . 默认是all .   
    用法:<Meta name="Robots" Content="All|None|Index|Noindex|Follow|Nofollow">  all:文件将被检索 ,且页面上的链接可以被查询;
none:文件将不被检索 ,且页面上的链接不可以被查询;(和 "noindex, no follow" 起相同作用)   index:文件将被检索;(让robot/spider登录)   ollow:页面上的链接可以被查询;NOINDEX指令:表示拒绝Robot索引本页 ,但可跟踪该页上的链接;如果某个页面不想被索引 ,那么添加noindex属性就可以了.
    Robots用来告诉搜索机器人哪些页面需要索引 ,哪些页面不需要索引 . Content的参数有all、none、index、noindex、        follow、nofollow . 默认是all .    用法:<Meta name="Robots" Content="All|None|Index|Noindex|Follow|Nofollow">   all:文件将被检索 ,且页面上的链接可以被查询; none:文件将不被检索 ,且页面上的链接不可以被查询;(和 "noindex, no follow" 起相同作用)  index:文件将被检索;(让robot/spider登录)  follow:页面上的链接可以被查询;   noindex:文件将不被检索 ,但页面上的链接可以被查询;(不让robot/spider登录)   
nofollow:文件将不被检索 ,页面上的链接可以被查询 . (不让robot/spider顺着此页的连接往下探找
原文地址:https://www.cnblogs.com/lin3615/p/3543623.html