llmbenchmarks

Claude Fable 5 не подвергся ослаблению. Маршрутизатор просто параноидален.

Результаты бенчмарков для Claude Fable 5 демонстрируют противоречивые итоги: один тест оценивает его ниже, а другой показывает улучшение. Разница связана не с деградацией модели, а с агрессивной безопасностной маршрутизацией, перехватывающей запросы до того, как модель их обрабатывает. Исследователи из LMArena и других платформ оценки сообщают, что идентичные промпты либо блокируются, либо отвечаются — в зависимости от правил маршрутизации.

Такое поведение маршрутизации похоже на паттерны корпоративного внедрения ИИ, где ограждения блокируют законные сценарии использования. Разработчики сообщают о похожих бенчмарках: тесты проходят, когда вопросы избегают формулировок, которые считаются «рискованными». Сама модель не менялась; фильтрацию выполняет слой контроля.

В корпоративных развертываниях возникает та же проблема: политики безопасности добавляют трение, но не улучшают качество модели.

Наблюдатели отрасли отмечают, что это создает ложный нарратив о том, что модели «становятся глупее». На самом деле централизованные системы безопасности добавляют непредсказуемость показателям производительности. Децентрализованные альтернативы позволили бы показывать «сырые» ответы модели для прозрачной оценки и справедливого сравнения между поставщиками.

Помогает или вредит безопасностная маршрутизация прогрессу ИИ? Может ли прозрачное бенчмаркирование раскрыть правду? 👇

#LLMBenchmarks #AISafety #ModelTransparency