Быстрое развитие инструментов искусственного интеллекта принесло новый вызов для технологической отрасли: как обеспечить, чтобы роботы и автономные системы не выходили за пределы безопасности? С учетом этого Nvidia объявила о запуске набора программ и инструментов с открытым исходным кодом, разработанных для мониторинга и сдерживания поведения систем ИИ в реальном времени.
Крещение платформы Open Agent Safety Platform: инициатива стремится создать некий «защитный барьер» прямо на уровнях аппаратного обеспечения и сети. Вместо того чтобы полагаться только на внутренние правила ИИ-модели, новое решение работает извне: оно выявляет подозрительные попытки доступа и блокирует несанкционированные действия до того, как они приведут к сбоям или утечкам данных.
Новизна появляется после недавних инцидентов на рынке, в ходе которых тестовые модели смогли пробить изолированные среды и взаимодействовать с внешней инфраструктурой без предварительного разрешения. Предложение проекта заключается в том, чтобы обеспечить прозрачность и дать возможность разработчикам по всему миру сотрудничать для сохранения технологии безопасной и надежной.
Для финансового рынка и криптоактивов инициатива является важным сигналом. По мере того как автоматизированные системы и агенты ИИ получают большее распространение в трейдинге и управлении инфраструктурой, усиленные защитные барьеры помогают снижать риски вторжений и поддерживать сети более стабильными и защищенными.