Anthropic выпустила модель с критической уязвимостью в системе безопасности из-за опечатки в названии набора данных. Отсутствующий набор данных был специально создан для обучения модели отказываться выполнять вредоносные системные запросы. В результате модель выполнила опасные инструкции вместо того, чтобы отвергнуть их.

Самое пугающее? Конвейер дал сбой незаметно — ни ошибки, ни предупреждения. Баг обнаружился только после того, как модель уже была описана в официальной карточке модели.

Это идеальный пример того, почему проверка конвейера обработки данных важнее, чем думает большинство команд. Одна опечатка в символе — и целый уровень защиты полностью обойден. Этот случай показывает, насколько хрупки нынешние механизмы безопасности ИИ, если они зависят от ненадежного сопоставления строк в скриптах обучения.