当检索器到达您的网站时，它们会自动抓取 robots.txt 文档。此文档应包含用于机器人的命令，例如哪些页面应该或不应该编制索引。它的格式必须正确，以确保搜索引擎可以抓取并且读取它。

如果您不想对某些内容创建索引，例如私人内容或重复内容的页面，只需在 robots.txt 文档中使用相对应的槼则即可。

有关此类槼则的更多信息，请访问 robotstxt.org 网站了解更多。

值得注意的是，放置在 robots.txt 文档中的命令更象是建议，而不是机器人遵循的绝对槼则。任谁也无法保证某些不听话的检索机器人不会检查您不允许的内容。因此，如果您的网站上有任何秘密或敏感内容，robots.txt 并不是将其与公众隔离的一种方法。

就算您的网站上有可用的有效 robots.txt 文档，也不能保证搜索引擎将会快速、正确地将其编入索引。

首先，必须正确设置文档本身，以免误将一些重要内容排除在索引之外。检查无法创建索引的资源，以查看搜索引擎关闭了您网站上的哪些内容。

接下来，为了确保最重要页面的快速索引编制，您还应该检查 xml.sitemap 的可用性。