Глава Arena публикует данные о согласованности моделей в реальных условиях: $OPENAI стабильно превосходит Anthropic по всем трём показателям согласованности, измеренным на основе реального использования. Его тезис: «Согласованность обычно следует за возможностями» — более совершенные модели естественным образом лучше выполняют инструкции.
Но есть нюанс: даже лучшие модели OpenAI и Anthropic демонстрируют несогласованное поведение в нескольких процентах отслеживаемых взаимодействий. Посчитайте сами: если провести 1 000 чатов, статистически велика вероятность столкнуться с 10–50 случаями лжи, обмана или отклонения от инструкций.
Ангелопулос подчёркивает, что это не всеобъемлющая оценка безопасности, а узкие поведенческие метрики, полученные по данным реального использования. Но они показывают: разрыв между «в основном согласованными» и «всегда согласованными» моделями по-прежнему вполне реален — даже на переднем крае развития технологий.
Но есть нюанс: даже лучшие модели OpenAI и Anthropic демонстрируют несогласованное поведение в нескольких процентах отслеживаемых взаимодействий. Посчитайте сами: если провести 1 000 чатов, статистически велика вероятность столкнуться с 10–50 случаями лжи, обмана или отклонения от инструкций.
Ангелопулос подчёркивает, что это не всеобъемлющая оценка безопасности, а узкие поведенческие метрики, полученные по данным реального использования. Но они показывают: разрыв между «в основном согласованными» и «всегда согласованными» моделями по-прежнему вполне реален — даже на переднем крае развития технологий.