OpenAI поручила своим ИИ-агентам устранять замедления ChatGPT. Всего за три с небольшим месяца они провели более 1 700 расследований и установили причину более чем в 600 случаях.

Главные выводы

  • Performance Factory — это внутренняя система OpenAI для запуска рабочих процессов инженерии производительности с использованием ИИ-агентов

  • Рабочий процесс регрессии создает задачу при срабатывании предупреждения о производительности, исследует причину замедления, предлагает исправление для проверки инженером и после развертывания проверяет, вернулась ли производительность к исходному уровню

  • OpenAI сообщила, что чуть более чем за три месяца рабочий процесс Regression Workflow отследил более 1 700 расследований и выявил первопричины более чем в 600 случаях

  • При ручной проверке 100 предложенных первопричин OpenAI признала точными 70% из них

OpenAI сообщила, что создала Performance Factory, поскольку традиционная разработка производительных систем не успевала за темпами агентной разработки. Компания описала её как автономную облачную систему, которая автоматизирует поиск и устранение проблем с производительностью.

В публикации говорится, что система развивалась поэтапно: от ручных расследований к отладке с помощью Codex, затем к общим навыкам, таким как perf-forensics, и, наконец, к автоматизированным рабочим процессам, которые могут запускаться по сигналу оповещения.

Как OpenAI перевела работу над производительностью в рабочие процессы

По словам OpenAI, до появления Codex инженеры вручную изучали метрики и журналы, сравнивали трассировки, отлаживали работающие машины и читали код, чтобы выяснить причины замедлений. Со временем команда создала более 30 инструментов для работы с производительностью, чтобы решать повторяющиеся проблемы.

OpenAI сообщила, что затем Codex стал помощником в таких расследованиях. Инженеры могли спрашивать, почему что-то стало работать медленнее, искать по кодовым базам, изучать метрики и трассировки, а также отслеживать взаимодействия между сервисами, но им всё ещё приходилось направлять процесс.

Чтобы автоматизировать большую часть этой работы, OpenAI создала общий навык perf-forensics. По словам компании, он указывает Codex, какие инструменты доступны, когда их использовать и как разбираться с замедлениями.

Затем OpenAI перенесла расследования в облако, чтобы оповещение могло автоматически запускать сеанс Codex. Performance Factory развивает эту идею и превращает её в сквозные рабочие процессы: они отслеживают каждую задачу, сохраняют результаты в её рамках и позволяют передавать работу между агентами и инженерами.

Читайте также: OpenAI заключила с TensorWave соглашение на 457 МВт для работы на чипах AMD

Что входит в Performance Factory

По словам OpenAI, система состоит из четырёх частей: трекера задач с настраиваемыми рабочими процессами, цикла распределения задач между агентами, API для запуска Codex в облаке и подписок, которые активируют агентов при изменении ситуации.

Инженеры определяют рабочие процессы с помощью файлов конфигурации и Markdown-подсказок. OpenAI сообщила, что сервис задач отслеживает состояния и переходы, а также отмечает шаги, требующие участия инженера; на панели управления отображаются открытые задачи и ход их выполнения.

Компания сообщила, что её внутренний API запускает сеансы Codex в собственной сети с доступом к репозиториям кода и инструментам наблюдаемости, таким как метрики, журналы, трассировки, профили загрузки ЦП и снимки памяти.

Если нужно дождаться, например, комментария по результатам проверки, неудачной автоматической проверки кода или развёртывания, система может подписаться на соответствующее событие и возобновить задачу, когда она будет готова продолжиться.

Как работает Regression Workflow

OpenAI сообщила, что первым рабочим процессом в Performance Factory стал Regression Workflow. Когда срабатывает настроенное оповещение о проблеме с производительностью, система создаёт задачу, которая проходит несколько этапов: требуется расследование, первопричина выявлена, предложено исправление и проблема устранена.

Чтобы найти причину, агент проверяет, какие метрики ухудшились, когда это произошло и какие запросы были затронуты. OpenAI также добавила состязательную проверку: отдельный сеанс Codex пытается опровергнуть предложенный диагноз.

В качестве примера OpenAI привела расследование, связанное с ChatGPT. Агент связал сбои в диалогах с ошибками загрузки изображений, но проверяющий обнаружил, что этот диагноз не объясняет, почему сбои продолжались после восстановления внутреннего сервиса размещения файлов. Поэтому расследование возобновили.

Если диагноз проходит проверку, Codex может внести исправление и открыть запрос на включение изменений, чтобы инженер его проверил. После развёртывания другой агент проверяет, вернулась ли производительность к прежнему уровню. Если да, задача помечается как решённая.

Показатель Performance Factory — что сообщила OpenAI: время работы — чуть более трёх месяцев; отслежено расследований замедлений — более 1 700; выявлено причин — более 600; точность при ручной проверке 100 диагнозов — 70% признаны точными; создано инструментов для работы с производительностью до появления агентов — более 30

Источник: инженерная публикация OpenAI.

За чем следить дальше

Показатель в 70% можно трактовать по-разному. Он означает, что в большинстве проверенных OpenAI случаев агенты правильно определяли диагноз, но также показывает, что примерно в трёх случаях из десяти они ошибались. Поэтому второй сеанс Codex пытается опровергнуть каждый диагноз, а инженер по-прежнему проверяет каждое исправление перед выпуском.

Более масштабное изменение заключается в том, что компании, занимающиеся ИИ, используют собственный ИИ для поддержки работы своих продуктов. OpenAI сообщила, что может превращать типовые оптимизации в рабочие процессы, которые регулярно выполняются в её сервисах. Следующий шаг — агенты, которые будут искать способы ускорить работу ещё до того, как пользователи заметят замедление.

Посмотрим, предложит ли OpenAI подобные инструменты пользователям Codex, которым приходится решать ту же задачу: поддерживать высокую скорость быстро меняющегося программного обеспечения.

Читайте далее: GPT-6.2 от OpenAI превзошла свою предыдущую версию, обходясь втрое дешевле