淘宝是如何利用robots.txt:百度蜘蛛被淘宝禁了?

前两天在网上看到个新闻说淘宝泄露了个人信息,在google中用site指令可以查看其他人的信息泄露,我觉得这可能是真的。现在肯定是看不到了,淘宝进行了处理,处理的方法我觉得挺暴力,直接用robots文件让搜索引擎禁止访问了。今天我才发现这个现象,而且是有图有真相,目前在百度中搜索淘宝,如下结果: 百度搜淘宝结果   从理论上推测,这是使用robots文件把百度的蜘蛛给禁止了,所以爬行不到其他信息,如何使用robot请参考:网站下面没有robots.txt怎么办? 好了,我再确认一下,淘宝是把所以的搜索引擎蜘蛛都禁止了还是仅仅禁止了百度的蜘蛛? 我用google搜索淘宝,结果如下: google搜索淘宝的结果   360综合搜索淘宝的结果: 360搜索淘宝的结果   根据以上的搜索结果显示我们淘宝对百度是区别对待的,仅仅禁止了百度的搜索引擎蜘蛛,其他的搜索引擎结果都显示正常。难道淘宝和百度又开始新的“战争”了? 总结:robots是很有用的,可以用在各种情况。淘宝就是利用robots文件把百度的蜘蛛给禁用了。我们一定要用好robots文件。
原文地址:https://www.cnblogs.com/vsdot/p/3263344.html