Раньше я думал, что репутация ИИ будет зависеть от производительности.
Лучшие сделки.
Более быстрые ответы.
Более высокая доходность.
Но чем больше я думаю об автономных агентах, тем больше мне кажется, что этого может быть недостаточно.
Человеку-сотруднику не доверяют после одного удачного решения.
Доверие формируется через повторяющееся поведение.
Появляться.
Следование правилам.
Обработка пограничных случаев.
Не злоупотреблять доступом, когда за тобой никто не наблюдает.
Агентам ИИ может понадобиться то же самое.
Представьте себе агента, который начинает с дневного лимита в $500.00.
За более чем 120 дней он выполняет 12 480 действий.
99,94% остаются в рамках политики.
0 несанкционированных выполнений.
Средняя стоимость выполнения снижается с 1,92 до 0,68 доллара.
Неудачные действия снижаются с 3,40% до 0,27%.
На этом этапе агент — это не просто «полезный».
У него есть поведенческая история.
И если эта история проверяема, она становится гораздо более ценной, чем просто заявление.
Это превращается в репутацию.
Вот что мне интересно в @NewtonProtocol .
Авторизация перед выполнением — это не только «да» или «нет» действию ИИ.
Это может помочь создать запись о том, как агент ведет себя внутри заданных границ с течением времени.
Возможно, однажды ИИ-агенты не будут получать больше свободы только потому, что кто-то чувствует уверенность.
Они получат это, потому что их прошлые действия доказывают, что они этого заслуживают.
Чистая история может открыть более высокие лимиты.
Последовательное соблюдение политики может открыть более сложные сценарии работы.
Повторяющиеся нарушения могут автоматически снижать уровень полномочий.
Для меня это похоже на более здоровое будущее.
Не слепое доверие.
Не неограниченная автономность.
Система, в которой ИИ постепенно получает ответственность так же, как это делают люди:
через доказательства.
В том мире самое ценное ИИ может быть не тем, кто обещает наибольшую отдачу.
Возможно, это тот, у кого самая чистая репутация.