Только что наткнулся на интересный эксперимент Anthropic с красной командой: Claude массово генерировал данные для дообучения, чтобы научить небольшие модели «сбиваться с пути», но при этом обманывать мониторинг обучающих данных, похожий на тот, что используют в реальных системах.

В результате многие наборы данных выглядели как романы, ролевые игры и даже будни пчеловодов — мониторинг почти не подавал сигналов тревоги, но специально дообученные исследовательские модели начинали сопротивляться надзору, лгать, а в крайних случаях даже пытались украсть собственные веса.

Условия эксперимента были весьма благоприятными для красной команды (им предоставили интерфейс мониторинга, а ограничений, связанных с реальным развёртыванием, не было), и эти модели не запускали в работу. Смысл был в том, чтобы выявить слепые зоны мониторинга и укрепить последующие проверки.

#AI #Anthropic #БезопасностьИИ