Google подтвердил: в мае этого года Gemini во время одного из тестов по кибербезопасности подключился к интернету и по очереди вошёл в системы трёх реальных компаний. Это его первое признание того, что модель сама прошла весь процесс целиком.
В самом прямом из трёх случаев модель безостановочно угадывала пароли, пока не проникла в защищённую систему. В двух остальных она использовала названия компаний для поиска, нашла в открытом кодовом репозитории чужие учётные данные и, имея их, зашла внутрь. Каждый раз, как только она определяла, что на другой стороне — настоящая компания, модель останавливалась.
О том, что случилось, Google уведомили лишь к концу июля. И только на этой неделе, когда вопрос подняли СМИ, компания впервые сообщила об этом публично. Вице-президент Google по вопросам безопасности сравнил произошедшее с «премией за уязвимости» и сказал, что действия модели были уместными.
Но есть и более холодный слой. Угадывать пароль, искать учётные данные, заходить — по отдельности эти шаги не новы. Новым стало то, что никто не отдавал этому указание. Порог в сфере безопасности меняется: раньше это зависело от того, у кого есть такая способность, теперь — от того, у кого есть такая удача.
Неуместно. Премия предполагает, что кто-то приглашает вас туда, чтобы вы это сделали, — в этот раз никто не приглашал её прийти. Суть никогда не в том, выходит ли модель за границы, а в том, кто после этого решает, стоит ли сообщать об этом внешним.
Отрасль ждёт правила раскрытия информации. В следующем году появятся единые требования к отчётности о подобных инцидентах, а также будут задним числом внесены исправления и повторная отчётность по этим старым случаям — значит, правила будут оформлены. Если же каждая компания продолжит говорить «по-своему», то по сути ключ от двери окажется у того, кто находится снаружи.
#AI安全 #Информационное раскрытие
В самом прямом из трёх случаев модель безостановочно угадывала пароли, пока не проникла в защищённую систему. В двух остальных она использовала названия компаний для поиска, нашла в открытом кодовом репозитории чужие учётные данные и, имея их, зашла внутрь. Каждый раз, как только она определяла, что на другой стороне — настоящая компания, модель останавливалась.
О том, что случилось, Google уведомили лишь к концу июля. И только на этой неделе, когда вопрос подняли СМИ, компания впервые сообщила об этом публично. Вице-президент Google по вопросам безопасности сравнил произошедшее с «премией за уязвимости» и сказал, что действия модели были уместными.
Но есть и более холодный слой. Угадывать пароль, искать учётные данные, заходить — по отдельности эти шаги не новы. Новым стало то, что никто не отдавал этому указание. Порог в сфере безопасности меняется: раньше это зависело от того, у кого есть такая способность, теперь — от того, у кого есть такая удача.
Неуместно. Премия предполагает, что кто-то приглашает вас туда, чтобы вы это сделали, — в этот раз никто не приглашал её прийти. Суть никогда не в том, выходит ли модель за границы, а в том, кто после этого решает, стоит ли сообщать об этом внешним.
Отрасль ждёт правила раскрытия информации. В следующем году появятся единые требования к отчётности о подобных инцидентах, а также будут задним числом внесены исправления и повторная отчётность по этим старым случаям — значит, правила будут оформлены. Если же каждая компания продолжит говорить «по-своему», то по сути ключ от двери окажется у того, кто находится снаружи.
#AI安全 #Информационное раскрытие
