Корпоративным ИИ-агентам требуется огромный объем реалистичных данных о задачах, чтобы чему-то научиться, но реальные журналы транзакций, тикеты в службе поддержки и записи рабочих процессов, которые могли бы научить их лучше всего, обычно слишком чувствительны, чтобы их можно было передавать.
Ключевые выводы
В пятницу ServiceNow опубликовала AutoSynthData на Hugging Face, чтобы генерировать синтетические обучающие данные для корпоративных агентов без использования записей клиентов
Корпоративным агентам нужны обучающие примеры с полными траекториями выполнения задач, включая многошаговые действия, внутренние инструменты и восстановление после ошибок
AutoSynthData создает синтетические сценарии для предприятий, разработанные так, чтобы имитировать реальную структуру рабочих процессов и сложность, не содержащие при этом информации о клиентах
ServiceNow не публиковала сравнительные бенчмарки или результаты очных сравнений с агентами, обученными на реальных данных с базовыми ориентирами
Команда по исследованиям ИИ в ServiceNow опубликовала на Hugging Face фреймворк под названием AutoSynthData в пятницу, описав конвейер, который генерирует синтетические обучающие данные для корпоративных агентов без доступа к реальным записям клиентов.
В публикации проблема изложена прямо. Компании, которые создают агентов для обработки закупок, ИТ-заявок или HR-рабочих процессов, застряли между двумя плохими вариантами.
Они либо обучаются на скудных публичных наборах данных, которые не похожи на реальные бизнес-процессы, либо рискуют раскрыть собственные данные, используя производственные логи напрямую. AutoSynthData вместо этого генерирует синтетические сценарии для предприятий — они построены так, чтобы имитировать структуру и сложность реальных рабочих процессов, при этом не содержат реальной информации о клиентах.
Почему синтетические данные стали «узким местом» для агентов
Обучение ИИ-агента автономно работать внутри корпоративного ПО отличается от обучения чатбота отвечать на вопросы.
Агент должен выполнять многошаговые действия, вызывать внутренние инструменты и восстанавливаться после ошибок в рамках рабочего процесса, который может охватывать с десяток взаимодействий между системами.
Для этого нужны обучающие примеры, показывающие полные траектории выполнения задач, а не только пары вопрос—ответ; и большинство компаний не имеют достаточно размеченных примеров успешных или неуспешных действий агентов в реальных задачах, чтобы безопасно собрать такой датасет.
Также читайте: OpenAI отложила Astra после предупреждения о неназванной проблеме в области безопасности
Генерация синтетических данных решает это: она использует большую языковую модель, чтобы смоделировать правдоподобные сценарии для предприятий и действия агента, необходимые для их разрешения, а затем применяет эти смоделированные траектории как учебный материал.
Подход повторяет более широкий сдвиг, который уже происходит в передовых лабораториях: синтетические данные стали ключевыми для закрытия разрывов, которые реальные наборы данных не могут заполнить дешево или безопасно. Исследовательское подразделение Meta публиковало похожие открытые наборы данных для более узких задач в прошлом, хотя ни один из них не был ориентирован именно на агентность в корпоративных рабочих процессах.
Корпоративные агенты уже зависят от того, насколько правильно это получается
На этой неделе OpenAI раскрыла детали связанного развертывания, описав, как Albertsons использует ChatGPT Enterprise и OpenAI API в розничных операциях, что указывает на то, что агентские развертывания в масштабе продуктовой розницы уже в реальности запущены и зависят от надежной обучающей базы.
Позиция ServiceNow такова, что синтетические данные позволяют более небольшим корпоративным командам создавать сопоставимые обучающие наборы для агентов без накладных расходов на соблюдение требований, связанных с работой с живыми данными клиентов.
Компания не публиковала сравнительные бенчмарки против агентов, обученных исключительно на реальных данных, поэтому фактический прирост надежности по сравнению с системами уровня production остается неподтвержденным.
Что изменится, если это действительно сработает
Ставка AutoSynthData в том, что реалистичные синтетические сценарии способны сократить разрыв между передовыми лабораториями и обычными ИТ-отделами предприятий, пытающимися развернуть надежных агентов у себя.
Самое сложное испытание приходит, когда агенты, обученные таким образом, сталкиваются с производственными рабочими процессами, которые синтетические сценарии не смогли предвосхитить: поскольку одно неверное действие агента в масштабе сети магазинов влечет реальные операционные затраты. ServiceNow не сообщала, когда планирует публиковать результаты очных сравнений с базовыми решениями на реальных данных.
Читать дальше: служба по безопасности ИИ, поддерживаемая Google, OpenAI и Anthropic, приближается к запуску