2008 年——开始普通爬坡
Posted: Wed Feb 19, 2025 3:26 pm
我在 4 月份写了一篇文章，介绍了当时支持和反对屏蔽“AI 机器人”的一些论点，特别是 GPTbot 和 Google-Extended，以及这样做的潜在后果。如果我的 Twitter/X 推文有任何参考价值，那么SEO行业内对屏蔽 AI 机器人的共识似乎非常反对，合理的前提是，品牌出现在大型语言模型 (LLM) 的答案/输出中非常重要，就像出现在 Google 搜索结果中一样重要。
然而，相当一部分权威网站选择屏蔽一个或多个 AI 机器人。这很可能与许多大型媒体品牌与 OpenAI 签署协议有关——他们或许将 robots.txt 排除作为其筹码的一部分。例如，Dotdash Meredith、Vox Media 和 The Atlantic、英国金融时报、美联社、Axel Springer和新闻集团。我在 4 月份的那篇文章中说过，要想削弱 AI 编写的竞争对手对你网站的潜在威胁，你可能需要在大多数垂直领域采取大规模的集体行动。显然，他们的算盘是，这些出版巨头在某些主题上占据了相当大的可用内容份额。
此时值得一提的是，robots.txt 并未受到任何法律的强制执行。这是互联 瑞士手机号码数据 网规范，忽视它会产生负面宣传成本（我稍后会再次提到），但要想完全阻止流量，您需要做的不仅仅是 robots.txt 行。
现在，我想更深入地了解一下今年出现的可阻止的人工智能机器人的范围，以及谁在阻止它们以及原因。
人工智能机器人时间表：新产品
让我们快速看一下时间线：
2024 年 7 月 25 日——OpenAI 宣布推出 SearchGPT 原型，并附带 OAI-SearchBot
这不是详尽无遗的，但涵盖了一些主要事件。我找不到 Anthropic 的任何具体时间表，而我在这个时间表中没有提到主要角色。
OpenAI、谷歌和苹果似乎有一个剧本，“抓取我们需要的一切数据，然后公开宣布如何阻止抓取”，这让人感觉有点不诚实，并且肯定会支持这样的论点：在这一过程的后期进行阻止收效甚微。
然而，相当一部分权威网站选择屏蔽一个或多个 AI 机器人。这很可能与许多大型媒体品牌与 OpenAI 签署协议有关——他们或许将 robots.txt 排除作为其筹码的一部分。例如，Dotdash Meredith、Vox Media 和 The Atlantic、英国金融时报、美联社、Axel Springer和新闻集团。我在 4 月份的那篇文章中说过，要想削弱 AI 编写的竞争对手对你网站的潜在威胁，你可能需要在大多数垂直领域采取大规模的集体行动。显然，他们的算盘是，这些出版巨头在某些主题上占据了相当大的可用内容份额。
此时值得一提的是，robots.txt 并未受到任何法律的强制执行。这是互联 瑞士手机号码数据 网规范，忽视它会产生负面宣传成本（我稍后会再次提到），但要想完全阻止流量，您需要做的不仅仅是 robots.txt 行。
现在，我想更深入地了解一下今年出现的可阻止的人工智能机器人的范围，以及谁在阻止它们以及原因。
人工智能机器人时间表：新产品
让我们快速看一下时间线：
2024 年 7 月 25 日——OpenAI 宣布推出 SearchGPT 原型，并附带 OAI-SearchBot
这不是详尽无遗的，但涵盖了一些主要事件。我找不到 Anthropic 的任何具体时间表，而我在这个时间表中没有提到主要角色。
OpenAI、谷歌和苹果似乎有一个剧本，“抓取我们需要的一切数据，然后公开宣布如何阻止抓取”，这让人感觉有点不诚实，并且肯定会支持这样的论点：在这一过程的后期进行阻止收效甚微。