Cloudflare запретил использование контента для обучения ИИ без потери позиций в поиске
Компания Cloudflare представила инструмент, который позволяет веб-мастерам запретить использование контента их сайтов для обучения искусственного интеллекта, не теряя при этом позиции в традиционной поисковой выдаче. Это решение призвано устранить существовавшую Previously проблему, когда блокировка роботов, отвечающих за оба процесса, приводила к снижению трафика.
Новая настройка Disallow AI Training
Суть нововведения заключается в добавлении соответствующей directive в robots.txt. При активации функции Disallow AI Training Cloudflare продолжает разрешать доступ к сайту так называемым mixed-use crawlers — роботам, которые одновременно индексируют страницы для поиска и собирают данные для ИИ-моделей. К ним компания относит Googlebot, Bingbot и Applebot.
Ранее веб-мастеры стояли перед дилеммой: полностью заблокировать Googlebot, чтобы предотвратить использование контента для обучения ИИ, но тогда же сайт исчезал из результатов поиска Google. Новая настройка разрешает этот конфликт, позволяя передать роботу указание исключительно на запрет ИИ-обучения, в то время как доступ для поисковой индексации остаётся открытым.
Как это работает на практике
При включении опции Cloudflare будет блокировать доступ к сайту для тех ИИ-краулеров, чья единственная задача — обучение моделей. В чёрный список попадут роботы Amazon, Anthropic и OpenAI. Важно, что блокировка обучения не повлияет на поисковое ранжирование сайта в Google, Bing или Apple Search.
Система ответственности Accountable
Cloudflare также ввела обозначение Accountable для операторов краулеров. Получить этот статус могут компании, готовые соблюдать строгие правила прозрачности:
- Поддерживать отказ от использования контента для ИИ-обучения.
- Предлагать сайтам возможность отказаться от включения контента в ИИ-ответы.
- Публиковать информацию о каких именно URL-адресах использовались для обучения.
- Гарантировать, что отказ от обучения не окажет негативного влияния на обычный поиск.
Сейчас этим стандартам соответствуют или obliged to correspond Apple, Google и Microsoft.
Будущее контроля над ИИ-контентом
Компания также анонсировала планы по введению более тонкой настройки AI Summaries. Вместо бинарного выбора «разрешить/запретить» веб-мастерам предоставят возможность управлять долей контента, которая может использоваться в ИИ-ответах. Ожидается, что эти функции появятся в следующем году.
Таким образом, Cloudflare предлагает решение, которое балансирует интересы создателей контента и развития технологий ИИ, обеспечивая при этом сохранение видимости сайтов в поиске.
