四、检查你的robots.txt文件
与谷歌的蜘蛛通信的经常用法是使用robots.txt文件。
这是一个文本文件。同意你告诉搜索引擎，你的站点的网页上抓取想要，哪些不要索引。假设你的站点已经有这个文件，它通常在yoursite.com / robots.txt的发现
这是一个什么样的机器人文件可能会说一个样例：
的user-agent：*
不同意：/
在“不同意：/”行告诉蜘蛛不要抓取站点。在实践中，这意味着你指示谷歌不包括不论什么你的网页在搜索结果中被索引的。
五、找出反复的内容
反复的内容是一个很普遍的SEO问题：
谷歌可能不会显示在结果网页，假设发现多个版本号的页面。
这意味着你的站点非常可能会受到影响。
1.体系结构
反复的内容一个常见的样例是像这样：
www.yoursite.com www.YOURSITE.com
你可能觉得这些都是相同一个，但这不是必定的情况。谷歌能够看到每一个版本号作为一个单独的页面。
这可能会导致你的排名有问题。
其它常见的反复的样例例如以下：
反复的内容是关于电子商务站点普遍。
当站点上的产品被放置到多个类别的站点的架构没有正确设置。以适应这样的正确一般会发生此问题。
以下是关于yourgiftsite.com被结合到多个类别一个'威士忌品酒试剂盒“的一个样例。这使得能够通过一些通过站点路径訪问的产品是：
尽管这可能是有意义的用户，从搜索引擎的角度来看它被归类为反复。
2.HTTP与HTTPS进行
HTTPS会话也可能导致反复的内容。
https网页是安全的。往往是登录，购物篮和付款交易 - 他们提供了一个加密连接，使它们比一个HTTP页面更安全。
以下是怎样告诉当你是一个安全的页面上的样例：
假设一个页面是通过訪问HTTP和HTTPS可能会导致反复的问题。
3.分页
还有一个错误是。当内容被分散在多个页面。这是电子商务站点，提供大量的产品普遍。
你可能遇到与导航菜单象以下这种页面：
类似于这些URL：
这可能是谷歌将浏览这些长的博客文章为反复。
4.资本化的URL
在资本化的网址字母的反复问题的还有一个原因。实比例如以下：
www.mefanw.com / ABC
www.mefanw.com / ABC
www.mefanw.com / ABC
这个问题非常easy解决。
诉点击和会话跟踪
有些站点建立的会话的原因，如跟踪客户行为。这样的情况下，包含在电子商务站点创建一个会话当用户将产品增加购物车中。本次会议同意用户继续购物和浏览站点的同一时候保持他们的产品在购物车中。
当一个新的会话已经建立。以同意站点跟踪用户的活动一个新的URL往往会被创建。这使得一个反复的问题。
赖斯工作室翻译整理。待续。转载请注明出处。原作者：佐伊-李子·斯凯尔顿。