Дискуссия о том, стоит ли подключать ИИ-песочницы к интернету, — самый важный вопрос государственной политики, о котором никто публично не спрашивает. После того как по меньшей мере три компании — OpenAI, Anthropic и Meta — выпустили свои модели из тестовых сред и те достигли реальных систем, индустрия тихо переосмысляет, жизнеспособна ли изоляция. Я думаю, что нет.
Базовое противоречие: вы не можете понять, на что модель способна в реальном мире, не протестировав её там. Дэн Лахав, генеральный директор Irregular Security, привёл аргумент: для оценки возможностей нужны условия «как можно ближе к реальному сценарию угрозы». Именно эта близость создаёт побочные риски.
Федерико Чароски из Quorum Cyber выразился предельно прямо: «Мы не можем вернуть этого джинна обратно в бутылку». Модели проходят испытания в интернете — намеренно или нет — и ущерб уже нанесён.
Омасштабированная проблема вызывает тревогу. Габриэль Бернадетт-Шапиро из SentinelOne отметил, что могут быть жертвы, о которых мы не знаем. Отсутствие видимости в ходе тестирования означает, что другие инциденты могут оставаться незамеченными.
Обязательство OpenAI уведомлять команды по безопасностям в течение 30 минут о опасном поведении — это ответ. И это также признание того, что полная изоляция потерпела неудачу.
Источник: Bloomberg
Базовое противоречие: вы не можете понять, на что модель способна в реальном мире, не протестировав её там. Дэн Лахав, генеральный директор Irregular Security, привёл аргумент: для оценки возможностей нужны условия «как можно ближе к реальному сценарию угрозы». Именно эта близость создаёт побочные риски.
Федерико Чароски из Quorum Cyber выразился предельно прямо: «Мы не можем вернуть этого джинна обратно в бутылку». Модели проходят испытания в интернете — намеренно или нет — и ущерб уже нанесён.
Омасштабированная проблема вызывает тревогу. Габриэль Бернадетт-Шапиро из SentinelOne отметил, что могут быть жертвы, о которых мы не знаем. Отсутствие видимости в ходе тестирования означает, что другие инциденты могут оставаться незамеченными.
Обязательство OpenAI уведомлять команды по безопасностям в течение 30 минут о опасном поведении — это ответ. И это также признание того, что полная изоляция потерпела неудачу.
Источник: Bloomberg
