Меня в агентах напрягает не то, что они ошибаются. А то, что они ошибаются молча.
Агент умеет купить, перевести, подписать — и в логе всё выглядит одинаково: успешная транзакция. Сколько он потратил сверх сметы, кому ушло, почему именно сейчас — это выясняется, когда уже поздно.
Поэтому я бы мерил качество агента не числом выполненных задач, а числом остановок. Сколько раз он не заплатил без разрешения. Сколько раз попросил подтвердить новый адрес. Если таких остановок ноль — это не автономность, это открытый кран.
Автономность без тормозов — это не фича. Это инцидент, который ещё не случился. #KiteBBW $KITE @KITE AI 中文
А вы бы как проверяли агента: по числу сделанных задач или по числу остановок?
Агент умеет купить, перевести, подписать — и в логе всё выглядит одинаково: успешная транзакция. Сколько он потратил сверх сметы, кому ушло, почему именно сейчас — это выясняется, когда уже поздно.
Поэтому я бы мерил качество агента не числом выполненных задач, а числом остановок. Сколько раз он не заплатил без разрешения. Сколько раз попросил подтвердить новый адрес. Если таких остановок ноль — это не автономность, это открытый кран.
Автономность без тормозов — это не фича. Это инцидент, который ещё не случился. #KiteBBW $KITE @KITE AI 中文
А вы бы как проверяли агента: по числу сделанных задач или по числу остановок?