Потратив время на то, чтобы разобраться в Newton Protocol, я начал сомневаться в кое-чём, что редко всплывает в разговорах об AI-агентах.
Большинство людей переживает из-за «вредоносного» AI.
Я начинаю думать, что большая опасность — это покорный вариант.
Не агент, который нарушает правила. Агент, который соблюдает их идеально, действуя при этом в рамках разрешений, которые никто как следует не продумал.
Это другой тип отказа. И становится гораздо труднее его игнорировать, когда AI начинает двигать деньги вместо того, чтобы просто генерировать текст.
Много разговоров об автономных агентах всё ещё крутится вокруг возможностей. Могут ли они проводить исследования? Могут ли они торговать? Могут ли они автоматизировать процессы? Могут ли они управлять операциями?
Эти вопросы важны, но они предполагают, что основным узким местом является более высокий уровень интеллекта.
Я не уверен, что это так.
Представьте, что вы даёте ИИ‑агенту полномочия управлять регулярными расходами на ПО для компании. Задача звучит безобидно: продлевать подписки, оплачивать счета, поддерживать работу сервисов.
Теперь представьте, что через шесть месяцев компания расширилась, интегрировала десять новых инструментов, подключила несколько платёжных систем и делегировала больше ответственности тому же агенту, потому что он продолжал хорошо справляться.
Ничего не ломается.
Никакого злонамеренного поведения не проявляется.
Никакой громкой катастрофической ошибки не происходит.
Тем не менее масштаб полномочий исподволь становится намного больше, чем изначально кто‑то планировал.
Такая ситуация кажется мне более реалистичной, чем популярный образ того, что ИИ внезапно уйдёт в разнос.
Первые серьёзные проблемы в автономных экономиках могут возникать из‑за дрейфа разрешений, а не из‑за провала интеллекта.
И именно с этой рамкой я снова и снова возвращался, глядя на протокол Newton.
То, что привлекло моё внимание, было не скоростью транзакций и не автоматизацией. Меня зацепил фокус на том, что именно агенту разрешено делать до того, как он начнёт действовать.
Потому что как только агенты начинают взаимодействовать с реальными экономическими системами, авторизация превращается в операционную инфраструктуру.
Рассмотрим две ситуации.
В первом случае агенту ИИ разрешено тратить до $500 в месяц на одобренных поставщиков ПО. Поступает запрос на оплату знакомой услуги. Транзакция проходит немедленно.
Во втором тот же агент сталкивается с запросом от нового поставщика, который прежде не был одобрен. Платёж не отклоняется из‑за того, что агент недостаточно умен. Он останавливается, потому что структура разрешений заставляет добавить дополнительный уровень валидации.
Сопротивление смещается вверх по цепочке.
Стоимость появляется до ошибки, а не после.
Звучит очевидно — пока не задумаешься о масштабе.
Менеджер может вручную просмотреть двадцать решений в день.
Автономная сеть агентов может сделать тысячи запросов.
На этом этапе доверие перестаёт быть чем-то, что люди активно предоставляют. Его нужно встроить в саму систему.
Одна вещь, которая мне кажется интересной, — что более строгие элементы контроля разрешений не бесплатны.
Они снижают риски, но одновременно уменьшают гибкость.
Агент, работающий в узких границах, может упустить возможности, которые поймала бы более автономная система. Дополнительные проверки добавляют задержку. Чем больше валидации, тем больше сложности. Всегда есть компромисс между скоростью и контролем.
Этот компромисс часто игнорируют, потому что автономность проще продавать, чем ограничения.
Но именно ограничения обычно и обеспечивают надёжность.
Попробуйте простой мысленный эксперимент.
Если бы вам сегодня пришлось выбирать между ИИ‑агентом с исключительными рассуждениями и неограниченными полномочиями на траты, и средним агентом, работающим внутри строгих границ разрешений, кому бы вы доверили свой бизнес‑аккаунт?
Большинство людей отвечают быстрее, чем ожидают.
И обычно ответ больше говорит о доверии, чем об интеллекте.
Возможно, я слишком зациклился на этой проблеме. Такое бывает.
Индустрия ИИ имеет привычку делать сегодняшнее узкое место похожим на постоянное, прежде чем что-то неожиданное изменит ландшафт. Более качественные модели в будущем могли бы уменьшить многие из этих опасений.
И всё же я снова и снова возвращаюсь к тому же наблюдению.
Любая зрелая экономическая система со временем неизбежно вырабатывает механизмы делегированной власти.
У компаний есть цепочки утверждения.
У банков есть уровни авторизации.
У правительств есть процессы надзора.
Не потому, что участники злонамеренны, а потому что полномочия со временем расширяются, если никто не определяет чёткие границы.
Почему автономные агенты должны быть чем-то другим?
Вот где протокол Newton начинает ощущаться не столько как проект про ИИ, сколько как эксперимент по управлению.
Вопрос не в том, может ли агент выполнить действие.
Вопрос в том, сможет ли кто-то позже проверить, почему это действие вообще было разрешено.
Это куда менее захватывающий вопрос.
Вероятно, именно это и важнее всего.
Только после того, как вы взглянете на это через такую призму, токен начинает обретать смысл.
Если сеть отвечает за принуждение к соблюдению разрешений, проверку действий и поддержание ответственности, участникам нужны стимулы вести себя честно. Экономическое согласование становится частью модели доверия, а не отдельной функцией.
Токен — не причина, по которой существует система.
Это следствие той задачи, которую система пытается решить.
То, что продолжает крутиться у меня в голове, — это не сам Newton.
Возможно, мы задаём неправильный вопрос об ИИ.
Мы тратим огромные суммы времени на споры о том, может ли ИИ принимать решения.
Мы тратим гораздо меньше времени на вопрос, кто именно определил его разрешения.
И если автономные агенты со временем станут отвечать за значимую экономическую деятельность, второй вопрос может в итоге привлечь гораздо больше внимания, чем первый.