Возможно. OpenAI в прошлом использовала различные источники данных, только недавно выпустив (раскрыв?) свой собственный краулер. Например, Common Crawl был огромным куском обучающих данных для GPT-3, и это не то же самое, что GPTBot. Немногие веб-сайты блокируют Common Crawl CCbot, который (среди немногих людей, которые слышали о нем) считается довольно легким касанием с точки зрения требований к серверу с потенциально широкомасштабными преимуществами, выходящими далеко за рамки обучения моделей ИИ. Кроме того, если вы сейчас заблокируете новых ботов, ориентированных на ИИ, вы не удалите никакой контент, который они собрали с вашего сайта в прошлом.
Таким образом, в худшем случае вы Список номеров мобильных телефонов Telegram в Малайзии только замедляете их доступ к новому контенту, который вы публикуете. Тем не менее, вы можете верить, что этот новый контент имеет какую-то уникальную ценность , особенно когда он самый свежий. (Неслучайно именно новостные сайты в настоящее время имеют тенденцию блокироваться.)
Однако он вполне может быть продублирован на сайтах-скрейперах в других местах. Я подозреваю, что более сложные модели включают в себя некий сигнал авторитета (возможно, ссылки!), поэтому сайт-скрейпер может быть не таким надежным, как ваш собственный сайт, или повторно сканироваться так же щедро или регулярно. Хотя я не могу этого подтвердить.
«Им не нужен мой контент»
Вы можете полагать, что даже если вы действуете как часть более крупного движения в вашей отрасли, боты ИИ в конечном итоге смогут производить контент по темам, которые затрагивает ваш сайт, так же хорошо, как и вы. Даже без ввода с ваших недавно опубликованных или недавно обновленных страниц.
Ваш выбор в пользу блокировки наряду с аналогичным решением ваших коллег снизит жизнеспособность контента или инструментов, созданных на основе степени магистра права, в вашем секторе, давая вам время до тех пор, пока не будут приняты правовые и коммерческие меры безопасности.
Во многих случаях это будет зависеть не только от ваших убеждений относительно того, как будет развиваться эта технология, но и от специфики вовлеченного бизнеса. Например: