Самая ценная функция в ИИ может быть кнопкой «Отмена»
Одна мысль снова и снова возвращает меня, когда я читаю про ИИ-агентов. Мы тратим невероятное количество времени, обсуждая, какой уровень полномочий агенту следует предоставлять. Я редко вижу, чтобы так же пристально уделяли внимание противоположному вопросу: насколько легко эти полномочия должны исчезать?
Чем больше я об этом думаю, тем больше убеждаюсь, что постоянные полномочия — это удобный дизайнерский обходной путь. Это кажется практичным, пока мир не изменится. Меняется намерение пользователя. Меняется риск. Меняются приоритеты. ИИ-система, которая только может получать полномочия, но с трудом умеет их терять, медленно отдаляется от человека, которому она должна соответствовать.
Именно эта часть из Ньютона задержалась у меня в голове. Механизм «Отзыва разрешений» — это не просто очередная функция безопасности. Он незаметно воспринимает полномочия как временные, а не как постоянные. Для меня это другая философия. Доверие перестаёт быть разовым решением и начинает развиваться всякий раз, когда пользователь меняет своё мнение.
Я думаю, эта идея выходит далеко за рамки одного протокола. Когда ИИ-агенты начнут обрабатывать платежи, инвестиции и повседневные решения, одной лишь «интеллектуальности» будет недостаточно, чтобы определить, будут ли люди им доверять. Возможность отзывать полномочия без трения может стать столь же важной, как и способность их предоставлять изначально.
Конечно, обратимые системы требуют дополнительной координации и управления состоянием. Простота обычно благоволит постоянным разрешениям. Безопасность — редко.
Похоже, я начинаю думать, что будущее не будет принадлежать ИИ с самыми большими полномочиями. Оно будет принадлежать тому ИИ, который понимает: его полномочия всегда взяты в аренду, а не принадлежат ему.@NewtonProtocol #newt $NEWT $VANRY $BLUR
Одна мысль снова и снова возвращает меня, когда я читаю про ИИ-агентов. Мы тратим невероятное количество времени, обсуждая, какой уровень полномочий агенту следует предоставлять. Я редко вижу, чтобы так же пристально уделяли внимание противоположному вопросу: насколько легко эти полномочия должны исчезать?
Чем больше я об этом думаю, тем больше убеждаюсь, что постоянные полномочия — это удобный дизайнерский обходной путь. Это кажется практичным, пока мир не изменится. Меняется намерение пользователя. Меняется риск. Меняются приоритеты. ИИ-система, которая только может получать полномочия, но с трудом умеет их терять, медленно отдаляется от человека, которому она должна соответствовать.
Именно эта часть из Ньютона задержалась у меня в голове. Механизм «Отзыва разрешений» — это не просто очередная функция безопасности. Он незаметно воспринимает полномочия как временные, а не как постоянные. Для меня это другая философия. Доверие перестаёт быть разовым решением и начинает развиваться всякий раз, когда пользователь меняет своё мнение.
Я думаю, эта идея выходит далеко за рамки одного протокола. Когда ИИ-агенты начнут обрабатывать платежи, инвестиции и повседневные решения, одной лишь «интеллектуальности» будет недостаточно, чтобы определить, будут ли люди им доверять. Возможность отзывать полномочия без трения может стать столь же важной, как и способность их предоставлять изначально.
Конечно, обратимые системы требуют дополнительной координации и управления состоянием. Простота обычно благоволит постоянным разрешениям. Безопасность — редко.
Похоже, я начинаю думать, что будущее не будет принадлежать ИИ с самыми большими полномочиями. Оно будет принадлежать тому ИИ, который понимает: его полномочия всегда взяты в аренду, а не принадлежат ему.@NewtonProtocol #newt $NEWT $VANRY $BLUR