这可能是一个robots 文件，例如.这些行表示任何蜘蛛都不得读取目录文件夹，但必须从此命令中排除必须读取的image.jpg文件。
显然这是一个简单的 robots.txt 文件，但不用担心，因为您必须编写的内容将是这种类型，我认为没有更复杂的东西。
完成的？是的，或者几乎：您缺少站点地图
您很清楚每个站点都必须有自己的站点地图。站点地图是包含站点上所有链接的特定文件，因此假设它将包含所有页面、文章、图像等。
当蜘蛛进入站点时，它执行的第一个操作是读取 robots.txt 文件；阅读完本文后，请继续扫描该网站。如果您还让他们在 robots 文件中找到站点地图的地址和位置，那就更好、更快、优化了阅读时间。
通过这一行，您可以警告蜘蛛它将在站点的根目录中找到 文件。
评论…
与所有文件一样，可以插入注释。指示 阿联酋 whatsapp 号码数据 注释的行必须在命令字符串的开头包含# 。
现在您已经了解了 robots 文件的所有语法和功能，您可以考虑以下示例：
本文包含了迄今为止我们所见过的所有命令，但这并不意味着您必须全部使用它们，相反......
首先，您需要知道，创建 robots.txt 文件后，您必须将其上传到网站的 根文件夹，以便可以像这样简单地访问它机器人.txt。此外 - 您必须记住这一点 - 如果您告诉蜘蛛不要读取某个文件，这并不意味着该文件无法访问，而是意味着它不会出现在搜索引擎的SERP中。
所以如果我写：
这意味着无法在搜索引擎上搜索到文件，但如果我（用户）知道该地址，我仍然可以访问该特定文件。
请务必小心，不要滥用 disallow 命令，因为使用它来隐藏 SERP 中的文件或目录并不是一个好习惯：要执行此类工作，最好使用网站管理员工具（例如Google 的Search Console）。