На этой неделе OrcaRouter представила OrcaCyber Zero 1.5 — модель для кибербезопасности, которая, по заявлению компании, набрала 100% на Cybench и 95,8% на подмножестве CVE-Bench.
Главное
На этой неделе OrcaRouter представила OrcaCyber Zero 1.5, заявив, что модель набрала 100% на Cybench и 95,8% на подмножестве CVE-Bench
Контекстное окно модели составляет 1 миллион токенов, а стоимость — 3,00 доллара за миллион входных токенов
По данным OrcaRouter, среднее время отклика OrcaCyber Zero 1.5 составляет 2 947 миллисекунд
OrcaRouter не раскрыла источники обучающих данных и не предоставила независимую проверку оценок модели в бенчмарках третьей стороной
Контекстное окно модели составляет 1 миллион токенов, что позволяет за один проход обрабатывать целые кодовые базы, файлы журналов или отчёты об инцидентах. Согласно опубликованным спецификациям, OrcaRouter установила цену $3,00 за миллион входных токенов, а среднее время ответа составляет 2 947 миллисекунд.
Cybench и CVE-Bench — два стандартных ориентира, по которым исследователи безопасности оценивают, насколько хорошо модель ИИ способна воспроизводить рассуждения специалиста по тестированию на проникновение.
Cybench предлагает модели пройти от начала до конца хакерские испытания в формате Capture the Flag, а CVE-Bench проверяет, может ли модель выявлять известные уязвимости программного обеспечения из базы Common Vulnerabilities and Exposures и рассуждать о них.
Идеальный результат в Cybench означает, что OrcaCyber Zero 1.5 прошла все испытания из набора без участия человека. Немногие универсальные модели добиваются такого результата, поскольку задания требуют многоэтапных цепочек эксплуатации уязвимостей, а не разовых ответов.
Почему в этой сфере узкая модель превосходит универсальную
OrcaCyber Zero 1.5 создана специально для того, что OrcaRouter называет «сложными многоэтапными процессами обеспечения безопасности», а не для универсального общения или программирования. Эта специализация важна, поскольку передовые универсальные модели крупных лабораторий часто уступают более узким системам, настроенным для конкретных предметных областей, на состязательных тестах безопасности: пропуск всего одного этапа может сорвать всю цепочку эксплуатации уязвимости.
Контекстное окно на 1 миллион токенов позволяет модели за один раз обработать весь дамп журналов, многомодульную кодовую базу или полный отчёт об инциденте — вместо кратких фрагментов, на которые приходится разбивать данные при использовании инструментов с меньшим контекстным окном.
Для команд, отвечающих за операции по обеспечению безопасности, это исключает этап, на котором аналитикам раньше приходилось предварительно обрабатывать материалы, прежде чем передать их модели.
Читайте также: гендиректор StarkWare предупреждает, что квантовая угроза близка; STRK вырос на 20% за два дня
Для практического сравнения можно взять недавно раскрытый Sophos случай использования инструмента Daybreak от OpenAI: он сократил время расследования угроз на 96%, в основном за счёт автоматизации первичной сортировки, а не полного проведения эксплойта. OrcaCyber Zero 1.5 позиционируется в другой части этого спектра — ближе к автономному тестированию с применением наступательных методов, чем к защитной первичной сортировке.
От универсальных чат-ботов к специализированным инструментам безопасности
Вся индустрия ИИ постепенно переходит от универсальных чат-помощников к специализированным моделям, настроенным для узких и критически важных областей — например, программирования, юридической экспертизы, а теперь и тестирования безопасности с применением наступательных методов.
Сама OrcaRouter работает как уровень агрегации и маршрутизации моделей: разработчики могут переключаться между более чем 200 моделями через единый API, не интегрируя отдельно каждого поставщика.
Компания также поддерживает шлюз маршрутизации с открытым исходным кодом и общедоступный архив реальных инцидентов с ИИ-агентами, позиционируя себя как поставщика инфраструктуры для команд, работающих с несколькими моделями в больших масштабах, а не как лабораторию одной модели.
На что обратить внимание корпоративным покупателям
OrcaRouter не раскрыла источники обучающих данных и не предоставила независимую проверку результатов Cybench и CVE-Bench сторонними организациями — помимо собственной карточки модели. Команды безопасности, оценивающие модель, захотят увидеть результаты, воспроизведённые в ходе независимого тестирования, а также проследить, ответят ли конкуренты — например, крупные лаборатории, создающие универсальные передовые модели, — собственными специализированными решениями для безопасности.
Цена в $3,00 за миллион входных токенов ниже, чем у многих передовых универсальных моделей. Это особенно важно для центров мониторинга безопасности, обрабатывающих большие объёмы запросов.
Читайте далее: Solar Mini 4 от Upstage выдаёт 208 токенов/с бесплатно в Cline и занимает первое место по оценке AAII