Способ, которым GUI-агенты запоминают информацию, в этой работе пересмотрели отдельно.
В статье он называется Task Advancement Memory, или TAM. Вместо того чтобы хранить прошлые действия как сплошной журнал, система различает, какой прогресс уже подтверждён. При переходе к следующему шагу Task Advancement State показывает, как подтверждённый прогресс меняет оставшуюся цель, позволяя продолжать работу между приложениями с учётом уже достигнутого. После завершения задачи добавляется ещё один уровень супервизии: взаимодействия, давшие подтверждённый результат, преобразуются в повторно используемые операции, при этом сохраняются связи между входными данными, ожидаемым результатом и условиями проверки. Сохраняются и отдельные шаги, которые удалось выполнить в неудачных задачах.
На GUI-only задачах MobileWorld использование одного лишь Advancement State повысило процент успешного выполнения с 12,0% до 28,2%. Полная версия TAM повысила успешность выполнения задач на 17,6% относительно сильнейшего базового метода и сократила на 38,7% количество токенов за весь цикл каждой решённой задачи. На SPA-Bench система показала state-of-the-art результат в сценариях третьего уровня на английском языке с одним приложением.
Препринт на arXiv; рецензирования не обнаружено. Выводы ограничены рамками экспериментов, описанных в аннотации.
$BTC
В статье он называется Task Advancement Memory, или TAM. Вместо того чтобы хранить прошлые действия как сплошной журнал, система различает, какой прогресс уже подтверждён. При переходе к следующему шагу Task Advancement State показывает, как подтверждённый прогресс меняет оставшуюся цель, позволяя продолжать работу между приложениями с учётом уже достигнутого. После завершения задачи добавляется ещё один уровень супервизии: взаимодействия, давшие подтверждённый результат, преобразуются в повторно используемые операции, при этом сохраняются связи между входными данными, ожидаемым результатом и условиями проверки. Сохраняются и отдельные шаги, которые удалось выполнить в неудачных задачах.
На GUI-only задачах MobileWorld использование одного лишь Advancement State повысило процент успешного выполнения с 12,0% до 28,2%. Полная версия TAM повысила успешность выполнения задач на 17,6% относительно сильнейшего базового метода и сократила на 38,7% количество токенов за весь цикл каждой решённой задачи. На SPA-Bench система показала state-of-the-art результат в сценариях третьего уровня на английском языке с одним приложением.
Препринт на arXiv; рецензирования не обнаружено. Выводы ограничены рамками экспериментов, описанных в аннотации.
$BTC
