robots书写说明：


  • “User-Agent”搜索引擎的名字。
  • 针对所有搜索引擎写法：User-Agent: *，针对百度搜索引擎写法：User-Agent:Baiduspider
  • “Allow”允许抓取。例：允许抓取news目录，参考写法：Allow: /news
  • “Disallow”禁止抓取。例：禁止抓取admin目录，参考写法：Disallow: /admin
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/lxwphp/p/15454980.html