Что должно требовать одобрения человека?

Главный риск, связанный с ИИ-агентом, может заключаться не в том, что он думает, а в том, что ему разрешено делать.

Модель может впечатляюще справляться с планированием, но как только она получает возможность тратить деньги, обращаться к платным API или взаимодействовать с разными сервисами, неудачное решение перестаёт быть просто неправильным ответом. Оно может обернуться реальной транзакцией.

В дизайне Kite меня особенно заинтересовало разделение пользователя, агента и сессии. Пользователь остаётся источником полномочий; агенту делегируются разрешения; а сессию можно ограничить конкретной задачей или периодом времени. Так яснее обозначается граница между просьбой помочь и предоставлением ИИ права действовать.

Подход Kite также предполагает программируемые ограничения на уровне инфраструктуры. Лимиты расходов и перечень разрешённых действий должны обеспечиваться криптографической авторизацией и логикой смарт-контрактов, а не просто прописываться в промпте в надежде на лучшее.

На мой взгляд, это более полезный способ рассуждать о безопасности ИИ в финансовых процессах. Вероятно, нам не удастся исключить все ошибки модели. Но мы можем проектировать системы так, чтобы одна ошибка не давала автоматически неограниченных полномочий.

И вот какой вопрос у меня остаётся: если у агента есть чёткая идентичность, ограниченные разрешения и журнал действий, доступный для аудита, какие действия всё же должны требовать одобрения человека? Я бы провёл границу по-разному для небольшого платежа через API и перевода средств между счетами.

Эта граница разрешений может быть не менее важна, чем интеллект самого агента.

#KiteBBW $KITE @KITE AI