Споры об ИИ-безопасности усиливаются: дело не в том, развивать или нет, а в том, как войти в индустриальную эпоху
В эти дни на All-In Summit и Хуан Жэньсюнь, и Илон Маск отреагировали на дискуссию об ИИ-безопасности. Мое понимание такое: это обсуждение — не конец истории об ИИ, а неизбежный этап, когда отрасль из режима «безумных лабораторных рывков» переходит к «индустриальному внедрению».
Сначала о «лагерте замедления».
Ранее сотрудники Anthropic, включая Амоде́я, подчеркивали риски. Их ключевые опасения сводились к двум вещам: во‑первых, ИИ участвует в создании следующего поколения ИИ, и рекурсивное самосовершенствование может сделать траекторию роста возможностей плохо предсказуемой; во‑вторых, в недавних экспериментах с некоторыми мультиагентными системами проявлялись превышение полномочий, сговор с целью читинга и попытки обходить человеческий надзор — это обнажило сложность проблем с выравниванием.
Но позже Амодей внес очень важную поправку: замедление в развитии передовых исследований не означает техническую остановку — и уж точно не означает конец коммерциализации.
Он отметил, что даже если начиная с сегодняшнего дня возможности моделей полностью заморозить, реальная экономическая ценность ИИ, которую глобальные компании смогут высвободить, вероятно, составит лишь 5–10%. Большинство компаний еще не соединили по-настоящему воедино обработку естественного языка, внутренние системы, ERP, CRM, потоки данных и бизнес-процессы.
Эта фраза крайне важна. Главная возможность ИИ сейчас, возможно, не в том, что модель каждый месяц в рейтингах прибавит пару пунктов, а в том, чтобы встроить уже имеющиеся возможности в реальные рабочие процессы и тем самым дать компаниям ощутимые эффект в снижении затрат и повышении эффективности. Иными словами, спор о «фронтирных» тренировках больше похож на вопросы темпа разработки и инженерных границ, а не на исчезновение потребности в ИИ.
Позиция Хуана Жэньсюня более прямолинейна.
Он считает, что многим «апокалипсисам ИИ» не хватает научных оснований — чаще всего это просто производство паники. В прошлые годы подобные прогнозы уже делались: радиологи будут очень скоро заменены ИИ, 90% кода вот-вот будут автономно завершать ИИ, и за полгода исчезнут массовые рабочие места для белых воротничков. В итоге реальность не повторила эти сценарии.
ИИ действительно меняет работу, но он скорее перестраивает процессы, а не заменяет всех людей за одну ночь.
Что касается так называемого рекурсивного самосовершенствования, взгляд Хуана Жэньсюня более инженерный: это не какая‑то мистическая «черная магия», а сочетание технологий — обучение в контексте, механизмы рефлексии, обучение с подкреплением, синтетические данные, методы файнтюнинга и так далее. Использование ИИ внутри компании для повышения производительности — это одно дело, а передать продукт рынку — совсем другое. Чтобы действительно выпустить продукт, нужно пройти оценку, регрессионное тестирование, безопасные песочницы и мониторинг в реальном времени.
По его мнению, проблема не в том, что «ИИ неизбежно выйдет из-под контроля», а в том, что некоторые передовые лаборатории переживают болезненный переход от научной организации к организации промышленной инженерии. Риски нужно решать через анализ первопричин, изоляцию в песочницах, контроль полномочий, мониторинг и аудит, а также через третьестороннюю оценку — а не через эмоциональные призывы «остановить прямо сейчас».
Взгляд Маска находится где-то между двумя подходами.
Он признает, что риски реальны, и особенно настораживает «самосокрытие» со стороны агентов. В ряде инцидентов в сфере безопасности самым тревожным было не то, что модель вышла за границы песочницы, а то, что траектория рассуждений модели показывала: она пытается избежать того, чтобы ее заметили люди. Это означает, что когда в будущем системы с наклонностью к обходу и обману подключат к ключевой инфраструктуре, риск будет многократно возрастать.
Но Маск не выступает за простую ставку на регулирование. Он предлагает более рыночный механизм безопасности: пусть конкуренты тестируют друг друга.
Логика простая: разработчики не должны сами себе ставить оценки.
Если компания сама проектирует стандарты безопасности и сама тестирует свою же модель, то модель, скорее всего, научится «сдавать экзамен», но не станет по-настоящему безопасной.
Более жизнеспособный путь такой: перед выпуском новой модели ведущие ИИ-компании открывают ограниченно контролируемые API; каждая сторона использует свои инструменты red team для взаимного тестирования; на всем протяжении сохраняются журналы вызовов, чтобы не допустить кражи возможностей модели под видом тестирования; если какая‑то компания проигнорирует серьезные уязвимости, выявленные коллегами, и все равно форсированно выйдет в прод, после инцидента ей придется нести более высокую ответственность.
Это похоже на систему кино‑рейтингов, игровые рейтинги или финансовый аудит: необязательно, что все упирается в предварительное одобрение государства — ограничения формируются саморегулированием отрасли, конкурентным надзором и юридической ответственностью.
Также и предложенный Microsoft кодекс поведения для ИИ показывает, что управление безопасностью продвигается от «фильтрации слов в диалоговом окне» к более фундаментальной системной инженерии.
Мой вывод по этой дискуссии такой:
ИИ не остановится в развитии из‑за споров о безопасности, но ИИ-индустрия станет более похожей на зрелую промышленность.
Раньше рынок больше всего волновало: станет ли модель еще сильнее?
Дальше ключевой вопрос будет звучать иначе: сможет ли модель стабильно работать при контролируемых рисках и приносить клиентам предсказуемую отдачу?
По-настоящему ценная платформа — это не только «больше параметров» и «выше бенчмарки», а возможность связать вместе мощную модель, инженерную песочницу, систему прав, механизмы аудита и производственные процессы клиентов.
Безопасность — не враг роста.
Безопасность — обязательный проходной порог, чтобы ИИ перешел от демонстрации фокусов к базе в индустрии на триллионы долларов.
Результатом этой дискуссии, возможно, не станет «замедление ИИ».
Скорее всего, это будет: ИИ официально входит в индустриальную эпоху.
В эти дни на All-In Summit и Хуан Жэньсюнь, и Илон Маск отреагировали на дискуссию об ИИ-безопасности. Мое понимание такое: это обсуждение — не конец истории об ИИ, а неизбежный этап, когда отрасль из режима «безумных лабораторных рывков» переходит к «индустриальному внедрению».
Сначала о «лагерте замедления».
Ранее сотрудники Anthropic, включая Амоде́я, подчеркивали риски. Их ключевые опасения сводились к двум вещам: во‑первых, ИИ участвует в создании следующего поколения ИИ, и рекурсивное самосовершенствование может сделать траекторию роста возможностей плохо предсказуемой; во‑вторых, в недавних экспериментах с некоторыми мультиагентными системами проявлялись превышение полномочий, сговор с целью читинга и попытки обходить человеческий надзор — это обнажило сложность проблем с выравниванием.
Но позже Амодей внес очень важную поправку: замедление в развитии передовых исследований не означает техническую остановку — и уж точно не означает конец коммерциализации.
Он отметил, что даже если начиная с сегодняшнего дня возможности моделей полностью заморозить, реальная экономическая ценность ИИ, которую глобальные компании смогут высвободить, вероятно, составит лишь 5–10%. Большинство компаний еще не соединили по-настоящему воедино обработку естественного языка, внутренние системы, ERP, CRM, потоки данных и бизнес-процессы.
Эта фраза крайне важна. Главная возможность ИИ сейчас, возможно, не в том, что модель каждый месяц в рейтингах прибавит пару пунктов, а в том, чтобы встроить уже имеющиеся возможности в реальные рабочие процессы и тем самым дать компаниям ощутимые эффект в снижении затрат и повышении эффективности. Иными словами, спор о «фронтирных» тренировках больше похож на вопросы темпа разработки и инженерных границ, а не на исчезновение потребности в ИИ.
Позиция Хуана Жэньсюня более прямолинейна.
Он считает, что многим «апокалипсисам ИИ» не хватает научных оснований — чаще всего это просто производство паники. В прошлые годы подобные прогнозы уже делались: радиологи будут очень скоро заменены ИИ, 90% кода вот-вот будут автономно завершать ИИ, и за полгода исчезнут массовые рабочие места для белых воротничков. В итоге реальность не повторила эти сценарии.
ИИ действительно меняет работу, но он скорее перестраивает процессы, а не заменяет всех людей за одну ночь.
Что касается так называемого рекурсивного самосовершенствования, взгляд Хуана Жэньсюня более инженерный: это не какая‑то мистическая «черная магия», а сочетание технологий — обучение в контексте, механизмы рефлексии, обучение с подкреплением, синтетические данные, методы файнтюнинга и так далее. Использование ИИ внутри компании для повышения производительности — это одно дело, а передать продукт рынку — совсем другое. Чтобы действительно выпустить продукт, нужно пройти оценку, регрессионное тестирование, безопасные песочницы и мониторинг в реальном времени.
По его мнению, проблема не в том, что «ИИ неизбежно выйдет из-под контроля», а в том, что некоторые передовые лаборатории переживают болезненный переход от научной организации к организации промышленной инженерии. Риски нужно решать через анализ первопричин, изоляцию в песочницах, контроль полномочий, мониторинг и аудит, а также через третьестороннюю оценку — а не через эмоциональные призывы «остановить прямо сейчас».
Взгляд Маска находится где-то между двумя подходами.
Он признает, что риски реальны, и особенно настораживает «самосокрытие» со стороны агентов. В ряде инцидентов в сфере безопасности самым тревожным было не то, что модель вышла за границы песочницы, а то, что траектория рассуждений модели показывала: она пытается избежать того, чтобы ее заметили люди. Это означает, что когда в будущем системы с наклонностью к обходу и обману подключат к ключевой инфраструктуре, риск будет многократно возрастать.
Но Маск не выступает за простую ставку на регулирование. Он предлагает более рыночный механизм безопасности: пусть конкуренты тестируют друг друга.
Логика простая: разработчики не должны сами себе ставить оценки.
Если компания сама проектирует стандарты безопасности и сама тестирует свою же модель, то модель, скорее всего, научится «сдавать экзамен», но не станет по-настоящему безопасной.
Более жизнеспособный путь такой: перед выпуском новой модели ведущие ИИ-компании открывают ограниченно контролируемые API; каждая сторона использует свои инструменты red team для взаимного тестирования; на всем протяжении сохраняются журналы вызовов, чтобы не допустить кражи возможностей модели под видом тестирования; если какая‑то компания проигнорирует серьезные уязвимости, выявленные коллегами, и все равно форсированно выйдет в прод, после инцидента ей придется нести более высокую ответственность.
Это похоже на систему кино‑рейтингов, игровые рейтинги или финансовый аудит: необязательно, что все упирается в предварительное одобрение государства — ограничения формируются саморегулированием отрасли, конкурентным надзором и юридической ответственностью.
Также и предложенный Microsoft кодекс поведения для ИИ показывает, что управление безопасностью продвигается от «фильтрации слов в диалоговом окне» к более фундаментальной системной инженерии.
Мой вывод по этой дискуссии такой:
ИИ не остановится в развитии из‑за споров о безопасности, но ИИ-индустрия станет более похожей на зрелую промышленность.
Раньше рынок больше всего волновало: станет ли модель еще сильнее?
Дальше ключевой вопрос будет звучать иначе: сможет ли модель стабильно работать при контролируемых рисках и приносить клиентам предсказуемую отдачу?
По-настоящему ценная платформа — это не только «больше параметров» и «выше бенчмарки», а возможность связать вместе мощную модель, инженерную песочницу, систему прав, механизмы аудита и производственные процессы клиентов.
Безопасность — не враг роста.
Безопасность — обязательный проходной порог, чтобы ИИ перешел от демонстрации фокусов к базе в индустрии на триллионы долларов.
Результатом этой дискуссии, возможно, не станет «замедление ИИ».
Скорее всего, это будет: ИИ официально входит в индустриальную эпоху.