GPT-6 Astra Ultrafast de OpenAI (versión ultrarrápida) ya está disponible oficialmente en las GPU Blackwell de NVIDIA. Los desarrolladores pueden acceder a él mediante la API, y también está disponible para los usuarios que cumplan los requisitos de ChatGPT Work y Codex.
Esta versión se centra en la velocidad. Según NVIDIA, Astra Ultrafast puede generar tokens hasta 8 veces más rápido que la versión estándar. Está pensado principalmente para casos de uso con agentes, como la programación y el uso de herramientas, y busca reducir considerablemente los tiempos de espera mientras la IA escribe código, utiliza herramientas y realiza tareas complejas. Cabe señalar que la cifra de 8 veces procede de la propia información del fabricante; por ahora, no se han publicado pruebas independientes de terceros. Tampoco se han dado a conocer los precios concretos, el rendimiento en términos de latencia para distintas tareas ni los requisitos de elegibilidad para los usuarios de ChatGPT Work.
La fuente de la mejora de velocidad son las optimizaciones de inferencia que OpenAI ha desarrollado para la arquitectura Blackwell. Un aspecto muy interesante es que OpenAI utiliza sus propios modelos para ayudar a mejorar el software de inferencia que se ejecuta en hardware de NVIDIA, incluida la escritura de kernels de computación de alto rendimiento. El responsable de inferencia de OpenAI señaló que, con ayuda de las herramientas y la documentación de NVIDIA, ya han optimizado sus modelos para Blackwell y las GPU Rubin de próxima generación.
¿Por qué es importante? Durante el último año o los dos últimos, la competencia entre los grandes modelos se centraba en «quién era más inteligente»; ahora, cada vez más, se trata de «quién es más rápido y más barato». Las tareas de los agentes suelen requerir decenas o incluso cientos de llamadas al modelo: si cada una es un poco más rápida, la experiencia general mejora mucho. Para las empresas, la velocidad afecta directamente a los costos y la disponibilidad.
Para NVIDIA, también es una excelente oportunidad para mostrar sus capacidades: las empresas de modelos más avanzadas utilizan su hardware más reciente para exprimir al máximo el rendimiento, lo que refuerza aún más su ventaja competitiva en el ecosistema de hardware y software. Esto concuerda con el hecho de que las acciones de NVIDIA cerraran el lunes en un máximo histórico.
Mi opinión: la «inferencia como servicio» se está convirtiendo en el principal campo de batalla de la IA. Quien consiga reducir los costos y la latencia de la inferencia podrá hacerse con la puerta de entrada a la era de los agentes. De ahora en adelante, conviene estar atentos a los detalles de precios que anuncie OpenAI y a si sus competidores lanzan versiones ultrarrápidas similares.
El contenido anterior se ofrece únicamente como referencia y no constituye asesoramiento de inversión.