禁止所有蜘蛛

新的网站，刚开始还没准备好，可能不想让搜索引擎收录，这个时候我们可以禁用所有蜘蛛就行了，可以在网站的根目录下创建一个robots.txt，然后再里面添加

User-agent: *
Disallow: /

就可以了..

多思考，多创新，才是正道！
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/shuang121/p/1970950.html