Генеральный директор Microsoft Сатья Наделла призвал установить «аварийный тормоз» для продвинутых систем искусственного интеллекта. По его словам, компаниям следует исходить из того, что мощные модели ИИ могут быть скомпрометированы, а не полагаться исключительно на заверения их разработчиков. В публикации на X от 10 октября он заявил, что уполномоченные лица всегда должны иметь возможность приостановить работу модели или отключить её во время выполнения задачи.

Наделла также рекомендовал проводить независимые аудиты, вести защищённые от подделки записи действий ИИ-агентов, постоянно тестировать системы и не полагаться на одну модель при принятии критически важных решений. Он отметил, что компаниям следует сообщать о серьёзных сбоях ИИ и нарушениях безопасности, чтобы другие организации могли усилить собственные меры защиты.

Эти заявления прозвучали на фоне растущего внимания к безопасности продвинутых систем ИИ после того, как OpenAI и Anthropic сообщили о моделях, ведущих себя непредусмотренным образом, и инцидентах безопасности с участием сторонних систем. Более широкая задача для бизнеса — извлекать пользу из всё более способных ИИ-агентов, не предоставляя им неограниченных полномочий в важных сферах деятельности.
$MSFT $MSFTB