步骤#4：Robots txt
该文件指示搜索引擎机器人可以去哪里，不能去哪里。要查看此文件，只需在搜索栏中输入您的网站地址，然后输入术语 robots.txt。让我们看一个例子，如果你放置此链接 www.youtube.com/robots.txt，将出现以下信息：
SEO 审计
这意味着什么，让我们看看：
用户代理：* 不允许：用于允许机器人或搜索引擎蜘蛛（如 Google）无限制地抓取您的网站。
用户代理：* 不允许：/：表示您网站上的任何页面都无法被 Google 等搜索引擎编入索引。
建议您允许机器人访问除以下几个页面之外的所有页面：管理页面、安全浏览页面等。
重要提示： 我建议将 站点地图的链接出现在 robots.txt 文件的最后一行。
现在，如果尽管你有 robots.txt 文件， 你的页面仍然没 德国电报数据 有被索引，请检查它们是否有“index follow”标签，而不是“noindex follow”或“noindex nofollow”，你可以通过检查来查看这些信息该页面的源代码。