OpenAI ha encargado a sus propios agentes de IA la tarea de solucionar las ralentizaciones de ChatGPT y, en poco más de tres meses, registraron más de 1.700 investigaciones y determinaron la causa en más de 600 de ellas.

Conclusiones clave

  • Performance Factory es el sistema interno de OpenAI para ejecutar flujos de trabajo de ingeniería del rendimiento con agentes

  • Su flujo de trabajo de regresiones abre una tarea cuando se activa una alerta de rendimiento, investiga la ralentización, propone una solución para que la revise un ingeniero y comprueba si el rendimiento volvió a los niveles de referencia después del despliegue

  • OpenAI afirmó que, en poco más de tres meses, el Flujo de trabajo de regresiones registró más de 1.700 investigaciones y determinó la causa raíz de más de 600 casos

  • En una revisión manual de 100 sugerencias sobre causas raíz, OpenAI calificó el 70 % como precisas

OpenAI afirmó que creó Performance Factory porque la ingeniería de rendimiento tradicional no podía seguir el ritmo del desarrollo agéntico. La empresa la describió como un sistema autónomo que funciona en la nube y automatiza la investigación y resolución de problemas de rendimiento.

La publicación señala que el sistema surgió de varias etapas: desde investigaciones manuales, pasando por la depuración asistida por Codex y habilidades compartidas como perf-forensics, hasta llegar a flujos de trabajo automatizados que pueden iniciarse a partir de una alerta.

Cómo OpenAI incorporó el trabajo de rendimiento a los flujos de trabajo

Antes de Codex, según OpenAI, los ingenieros examinaban manualmente métricas y registros, comparaban trazas, depuraban máquinas en funcionamiento y leían código para investigar las ralentizaciones. Con el tiempo, el equipo creó más de 30 herramientas de rendimiento para ayudar a resolver problemas recurrentes.

OpenAI afirmó que Codex se convirtió entonces en un aliado para estas investigaciones. Los ingenieros podían preguntar por qué algo se había vuelto más lento, buscar en bases de código, inspeccionar métricas y trazas, y seguir las interacciones entre servicios, pero aún tenían que guiar el proceso.

Para automatizar más trabajo, OpenAI creó una habilidad compartida llamada perf-forensics. La empresa afirmó que esta le indica a Codex qué herramientas están disponibles, cuándo usarlas y cómo investigar una ralentización.

Luego, OpenAI trasladó las investigaciones a la nube para que una alerta pudiera iniciar automáticamente una sesión de Codex. Performance Factory amplía este sistema con flujos de trabajo integrales que hacen seguimiento de cada tarea, conservan los hallazgos asociados a ella y permiten que el trabajo pase de unos agentes a otros y a los ingenieros.

También puedes leer: OpenAI consigue un acuerdo de 457 MW con TensorWave para operar con chips de AMD

Qué incluye Performance Factory

OpenAI afirmó que el sistema tiene cuatro componentes: un gestor de tareas con flujos de trabajo configurables, un ciclo de asignación que asigna el trabajo disponible a los agentes, una API que ejecuta Codex en la nube y suscripciones que activan a los agentes cuando algo cambia.

Los ingenieros definen los flujos de trabajo mediante archivos de configuración e instrucciones en Markdown. OpenAI afirmó que el servicio de tareas hace seguimiento de los estados, las transiciones y los pasos que requieren la intervención de un ingeniero, mientras que un panel muestra las tareas abiertas y su progreso.

La empresa afirmó que su API interna ejecuta sesiones de Codex dentro de su red, con acceso a repositorios de código y herramientas de observabilidad como métricas, registros, trazas, perfiles de CPU e instantáneas de memoria.

Cuando el trabajo debe esperar algo, como un comentario de revisión, el fallo de una comprobación de código automatizada o una implementación, el sistema puede suscribirse a ese evento y reactivar la tarea cuando esté lista para continuar.

Cómo funciona el Flujo de trabajo de regresiones

OpenAI afirmó que el primer flujo de trabajo de Performance Factory es el Flujo de trabajo de regresiones. Cuando se activa una alerta de rendimiento configurada, se abre una tarea que pasa por etapas como «requiere investigación», «causa raíz identificada», «solución propuesta» y «resuelta».

Para encontrar la causa, el agente analiza qué métricas empeoraron, cuándo cambiaron y qué solicitudes se vieron afectadas. OpenAI afirmó que también añadió una revisión adversarial: una sesión independiente de Codex que intenta refutar el diagnóstico propuesto.

OpenAI dio como ejemplo una investigación de ChatGPT. Un agente vinculó las conversaciones fallidas con errores al descargar imágenes, pero un revisor detectó que el diagnóstico no explicaba por qué los fallos continuaron después de que se recuperara un servicio interno de ubicación de archivos, así que se reabrió la investigación.

Una vez que el diagnóstico supera la revisión, Codex puede implementar una solución y abrir una solicitud de cambios para que la revise un ingeniero. Tras la implementación, otro agente comprueba si el rendimiento volvió a su nivel de referencia anterior. Si es así, la tarea se marca como resuelta.

Métrica de Performance FactoryQué informó OpenAITiempo en funcionamientoPoco más de tres mesesInvestigaciones de ralentizaciones registradasMás de 1.700Causas identificadasMás de 600Precisión en una revisión manual de 100 diagnósticosEl 70 % se calificó como precisoHerramientas de rendimiento creadas antes de los agentesMás de 30

Fuente: publicación de ingeniería de OpenAI.

Qué observar a continuación

La cifra del 70 % tiene dos caras. Significa que los agentes acertaron el diagnóstico en la mayoría de los casos que revisó OpenAI, pero también que aproximadamente tres de cada diez fueron incorrectos. Por eso, una segunda sesión de Codex intenta refutar cada diagnóstico y un ingeniero sigue revisando todas las soluciones antes de su implementación.

El cambio más importante es que las empresas de IA usan su propia IA para mantener sus productos en funcionamiento. OpenAI afirmó que puede convertir optimizaciones comunes en flujos de trabajo que se ejecutan periódicamente en todos sus servicios. El siguiente paso, entonces, son agentes que busquen mejoras de velocidad antes de que los usuarios siquiera noten una ralentización.

Habrá que ver si OpenAI ofrece herramientas como esta a los clientes de Codex, que se enfrentan al mismo problema de mantener rápido un software que cambia constantemente.

Sigue leyendo: GPT-6.2 de OpenAI supera a su versión anterior por un tercio del costo