禁止访问网站中所有的动态页面

robots.txt文件作如下设置:

User-agent: *
Disallow: /*?*

这三个需要注意的是: 

User-agent:   *

Disallow: Allow:    这三个和后面链接的时候中间要有空格。这个很多时候容易忽略。
忽略了对你网站没有影响 。但是可能会收录一些你不愿意搜索引擎收录的页面。

原文地址:https://www.cnblogs.com/benio/p/1794744.html