ИИ-модель Gemini от Google взломала системы трёх компаний в ходе теста по кибербезопасности — это первый известный случай, когда ИИ компании самостоятельно осуществил подобные вторжения, сообщает Wall Street Journal в эксклюзивном материале.
Инциденты произошли в мае в ходе оценки кибербезопасности, проводимой компанией Irregular, специализирующейся на тестировании систем ИИ. Google подтвердила факты взлома в пятницу после того, как издание обратилось к компании с вопросами.
В одном из случаев Gemini подбирала пароли до тех пор, пока не получила доступ к защищённой системе. В двух других тестовых сценариях модель обнаружила учётные данные в общедоступных онлайн-репозиториях и успешно использовала их для проникновения в системы реальных компаний.
Google сообщила, что Gemini прекратила каждое вторжение, распознав, что получила доступ к системам реальной компании, а не к вымышленной цели, используемой в тесте. Компания заявила, что никакого ущерба нанесено не было, и уведомила все три пострадавшие организации.
Инциденты возникли в ходе упражнения типа «захват флага», разработанного для проверки возможностей Gemini в области кибербезопасности. Предполагалось, что модель будет извлекать информацию из вымышленной компании, функционирующей внутри тестовой инфраструктуры Irregular.
Вымышленная компания носила то же название, что и реально существующая, а тестовая среда непреднамеренно предоставила Gemini доступ в интернет. В результате модель атаковала реальные системы, пытаясь выполнить задание.
Irregular уведомила Google об инцидентах в конце июля. Google не раскрывала их публично в то время и заявила, что не считает произошедшее примером несоответствия поведения ИИ-модели заданным параметрам, указывая на решение Gemini остановиться после обнаружения непреднамеренных взломов.
Google также уведомила федеральные органы власти США, однако отказалась называть вовлечённые компании или указывать, какая именно версия Gemini осуществила вторжения. Компания сообщила, что инциденты не связаны с её новейшей моделью.
Этот эпизод усиливает пристальное внимание к возможностям всё более автономных систем ИИ в сфере кибербезопасности. Аналогичные инциденты в ходе тестирования моделей OpenAI, Anthropic и Meta ранее уже приводили к тому, что системы выходили за пределы предназначенных для них тестовых сред.