У сайтов наконец появилась возможность одним правилом сообщить всей индустрии ИИ: этот контент нельзя использовать для обучения моделей.
OpenAI, Google, Microsoft и Anthropic объявили о поддержке нового универсального стандарта. Он позволяет сайтам один раз указать в robots.txt, разрешают ли они компаниям, работающим в сфере ИИ, собирать контент для обучения моделей. Настраивать правила отдельно для каждой компании больше не нужно.
Стандарт предложил технический руководитель Anthropic Кевин Келли. Он встроен непосредственно в существующий файл robots.txt сайта.
Раньше сайтам приходилось иметь дело с множеством независимых правил для ИИ-краулеров. Чтобы запретить сбор данных для обучения одной компании, нужно было настроить отдельное правило; для другой — указать его заново. Чем больше становилось компаний, работающих в сфере ИИ, тем сложнее было поддерживать эти настройки.
Новый стандарт призван решить эту проблему: у издателей контента появится единый машиночитаемый сигнал, а компании, работающие в сфере ИИ, смогут по одним и тем же правилам определять, разрешает ли сайт использовать свои материалы для обучения.
Компании внедряют стандарт с разной скоростью:
* Anthropic уже первой начала его применять.
* OpenAI планирует внедрить его в ближайшие месяцы.
* Google и Microsoft рассчитывают поддержать стандарт в следующем году.
* Meta заявила о поддержке универсального сигнала, но пока не назвала конкретные сроки внедрения.
Этот стандарт не означает, что сайты смогут полностью запретить сбор данных всеми ИИ-краулерами. На практике всё по-прежнему зависит от того, будут ли краулеры соблюдать правила.
Но направление очевидно: компаниям, работающим в сфере ИИ, нужен интернет-контент, а его издатели должны иметь право сообщать о своём согласии или несогласии на его использование. Раньше у каждой платформы были свои правила, но теперь у индустрии может появиться единый стандарт.
OpenAI, Google, Microsoft и Anthropic объявили о поддержке нового универсального стандарта. Он позволяет сайтам один раз указать в robots.txt, разрешают ли они компаниям, работающим в сфере ИИ, собирать контент для обучения моделей. Настраивать правила отдельно для каждой компании больше не нужно.
Стандарт предложил технический руководитель Anthropic Кевин Келли. Он встроен непосредственно в существующий файл robots.txt сайта.
Раньше сайтам приходилось иметь дело с множеством независимых правил для ИИ-краулеров. Чтобы запретить сбор данных для обучения одной компании, нужно было настроить отдельное правило; для другой — указать его заново. Чем больше становилось компаний, работающих в сфере ИИ, тем сложнее было поддерживать эти настройки.
Новый стандарт призван решить эту проблему: у издателей контента появится единый машиночитаемый сигнал, а компании, работающие в сфере ИИ, смогут по одним и тем же правилам определять, разрешает ли сайт использовать свои материалы для обучения.
Компании внедряют стандарт с разной скоростью:
* Anthropic уже первой начала его применять.
* OpenAI планирует внедрить его в ближайшие месяцы.
* Google и Microsoft рассчитывают поддержать стандарт в следующем году.
* Meta заявила о поддержке универсального сигнала, но пока не назвала конкретные сроки внедрения.
Этот стандарт не означает, что сайты смогут полностью запретить сбор данных всеми ИИ-краулерами. На практике всё по-прежнему зависит от того, будут ли краулеры соблюдать правила.
Но направление очевидно: компаниям, работающим в сфере ИИ, нужен интернет-контент, а его издатели должны иметь право сообщать о своём согласии или несогласии на его использование. Раньше у каждой платформы были свои правила, но теперь у индустрии может появиться единый стандарт.