El 19 de agosto, hora local, Meta presentó en detalle en el blog para desarrolladores la herramienta de apoyo al desarrollo de VR de su propiedad Meta XR Operator.
Esta herramienta se lanzó al público de forma experimental el 28 de julio junto con el Meta XR SDK v205. Con la ayuda del protocolo de contexto del modelo MCP, se conecta con diversos agentes inteligentes de IA, dotando a la IA con la capacidad de observar, operar y verificar programas de VR, y creando un flujo de desarrollo automatizado de ciclo cerrado de «codificar, ejecutar, depurar y validar».
En la actualidad, los asistentes de programación con IA ya pueden generar código, realizar pruebas estáticas y corregir vulnerabilidades, pero en el escenario del desarrollo de VR presentan deficiencias evidentes. La IA no puede ver de forma intuitiva las imágenes de la aplicación virtual, ni tampoco ejecutar interacciones a nivel espacial, lo que dificulta determinar el efecto real en tiempo de ejecución después de modificar el código.
Meta XR Operator está diseñado precisamente para cubrir este punto doloroso. Se despliega como una capa intermedia entre la aplicación y el runtime de OpenXR, intercepta las llamadas del runtime y, sin necesidad de modificar el código fuente del proyecto, otorga a un Agente de IA permisos para acceder al estado de ejecución de XR y controlar las entradas.
Con esta suite de herramientas, el agente de IA puede realizar varias capacidades prácticas: capturar capturas de pantalla de aplicaciones dentro del simulador para observar visualmente; leer datos de geometría de la habitación para comprender el entorno espacial; simular pulsaciones de botones del mando, el movimiento del joystick y el uso del gatillo, así como cambios de postura de la cabeza; leer información de componentes de la escena de Unity y ejecutar automáticamente pruebas de múltiples pasos de la UI, como hacer clic en botones y saltar de menús.
Meta ha planificado tres flujos de trabajo típicos. Los desarrolladores plantean los requisitos en lenguaje natural, y la IA completa automáticamente la codificación, la implementación, la simulación de ejecución y la optimización iterativa. En la fase de depuración, la IA puede reproducir fallos, localizar problemas en el código y verificar el efecto de las correcciones. Además, puede realizar pruebas automatizadas impulsadas por lenguaje natural para comprobar si los menús y la lógica de interacción funcionan correctamente.
Ya desde etapas tempranas, se realizaron pruebas en colaboración con equipos como Beat Games. La IA no solo completó de forma independiente el desarrollo del proyecto de tres en raya en VR, sino que también detectó defectos de solapamiento de UI que las pruebas tradicionales con scripts no logran capturar en el menú (Beat Saber).
Sin embargo, este producto aún se encuentra en fase experimental y tiene varias limitaciones. La herramienta todavía no admite el reconocimiento de interacciones sutiles con gestos de los dedos, ni puede obtener flujos de audio; se apoya principalmente en capturas de pantalla para el juicio visual, por lo que su rendimiento es limitado cuando se enfrentan animaciones dinámicas, objetos en movimiento y diferencias sutiles entre imágenes.
Para experimentar esta herramienta, los desarrolladores necesitan Unity Editor 6000.0.66f2 LTS o una versión superior, Meta XR SDK v205, un simulador XR, y herramientas de programación con IA compatibles con el protocolo MCP, como Claude Code y Cursor. Al extender las capacidades de IA a las tareas de prueba en el espacio tridimensional, se espera reducir el coste de depuración de las aplicaciones de VR y abrir una nueva vía para mejorar la eficiencia en el desarrollo de contenidos XR.