Texto | Dingxiang One? Wang Lu
Edición | Wei Jia
Mientras la pista de la inteligencia encarnada (embodied intelligence) sigue atrayendo miradas de capital, cada vez hay más rankings relacionados. Cuando el “número uno” casi se convierte en el “estándar de todas las casas”, ¿todavía existe credibilidad en los rankings?
Hace más de un mes, Qianxun Intelligence vivió un momento embarazoso. A principios de junio, su modelo base de inteligencia encarnada Spirit v1.6 en el ranking de RoboArena superó a Cosmos 3 de Nvidia con 1918 puntos frente a 1880, llegando a ocupar “el número uno mundial”. Justo después, Qianxun anunció que había completado una ronda de financiación A+ de 1.5 mil millones de yuanes. En tres meses, completó cuatro rondas de financiación intensiva, con un total cercano a los 5 mil millones de yuanes, estableciendo un nuevo récord de frecuencia de financiación en la pista de la inteligencia encarnada.
Sin embargo, las dudas del sector sobre la calidad de los datos de evaluación empezaron a intensificarse casi desde el día siguiente. Un observador señaló que, en 310 registros de evaluaciones, el 72% de las puntuaciones provino de dos cuentas. Lo más llamativo es que, después, la propia RoboArena publicó una declaración: tras una investigación de verificación, retiró parte de los datos de evaluación que generaban sospechas y actualizó el orden del ranking. Spirit v1.6 también fue eliminado posteriormente del ranking.
Pero este incidente no apagó el entusiasmo de los jugadores. Al revisar las noticias de la industria de casi medio año, “Xingdong Yuan”, “Li Li Lingji”, “Jijia Shijie”, “Zhi Neng”, “Kua Wei”, “Lu Ming”… prácticamente cada empresa líder tiene en la mano un “número uno”, y esas victorias “del uno” en distintas dimensiones no son las mismas.
Esta escena quizá no sea difícil de entender: a día de hoy la inteligencia encarnada todavía no tiene una ruta técnica unificada; la tasa real de éxito con robots reales suele quedarse en cinco o seis décimas. Para que el mundo exterior pueda juzgar si una empresa “realmente funciona o no”, en gran medida solo puede apoyarse en rankings. Pero cuando quienes publican los resultados también incluyen universidades, instituciones y medios, y los estándares de cada quien no son iguales—y algunos incluso se mezclan con contratos comerciales y relaciones de intereses—surge la pregunta de si los rankings en sí mismos pueden seguir usándose como “regla”.
Un inversor que sigue la pista de inteligencia encarnada dijo que los rankings se inclinan más hacia el comportamiento del mercado y, como mucho, sirven como una referencia para la toma de decisiones de inversión. Sobre el caso de Qianxun, él no se sorprendió. En su opinión, quienes se preocupan de verdad por el lugar suelen ser entidades que no tienen como punto de partida las finanzas o la tecnología, sino algunos fondos guía locales o dinero de origen estatal. Un “número uno” puede ser justamente “una buena puerta de entrada” para “ponerlo en un informe”. Pero también hay inversores con una visión diferente: creen que, en una fase temprana donde las barreras técnicas son altas y hay asimetría de información, al menos los rankings ofrecen un punto de partida para comparaciones transversales.
Cuando hay más “números uno” que empresas que hacen robots en serio, ¿estos rankings realmente evalúan tecnología o evalúan la capacidad de contar historias? ¿Qué rankings aún vale la pena mirar?
01 La ruta técnica aún no está unificada: primero “cada uno tiene su número uno”
Primero repasemos los rankings actuales del mercado y nos formemos una impresión aproximada. Según estadísticas incompletas, hoy en día existen más de 20 rankings activos para inteligencia encarnada. Según el contenido de la evaluación, estos rankings se pueden dividir, a grandes rasgos, en tres categorías.
En el ranking integral de operaciones VLA, se evalúa si el robot realmente puede hacer trabajo, y lo que se mide es la tasa de éxito de las tareas. Los rankings representativos son RoboChallenge Table30 y MolmoSpaces;
El ranking de modelos de mundo: lo que se evalúa es si la inferencia “en la cabeza” es correcta. Se analiza la capacidad del modelo para razonar sobre el mundo físico, no si los robots manejan bien brazos y piernas. Los ejemplos son World Arena y WorldModelBench;
Ranking de benchmarks especializados: evalúa si “se delata” en condiciones extremas. Se centra en capacidades extremas de un punto concreto, como la coordinación entre dos brazos, o la transferencia de simulación a un robot real. Los ejemplos son RoboTwin 2.0, SimplerEnv, LIBERO y CALVIN. Su valor está en que, en escenarios extremos que no quedan cubiertos por el ranking integral, se fuerzan las debilidades del modelo a salir a la luz.
Vale la pena aclarar que estas tres categorías de rankings tienen enfoques distintos y no son intercambiables. El ranking con robots reales evalúa ejecución; el ranking de modelos de mundo evalúa razonamiento; y el ranking especializado evalúa los límites. Ninguno cubre la totalidad de las capacidades de la inteligencia encarnada.
Con esta coordenada, el reporte de batallas de los modelos base de inteligencia encarnada de los últimos seis meses se puede ubicar de inmediato. Si se recopilan los reportes de batalla de los modelos base de inteligencia encarnada de los dos meses más recientes, se obtiene una lista bastante impactante.
En mayo de este año, Xingdong Yuan Era0 declaró haber conseguido el número uno de RoboChallenge Table30; Zhi Neng GE-Sim 2.0 fue el número uno en World Arena Track1; Kua Wei DSCFuncWorld fue el número uno en World Arena Track2. Al entrar en junio, Qianxun Spirit v1.6 se llevó el número uno de RoboArena (luego lo retiraron), y Lu Ming Prime R0 coronó MolmoSpaces. Casi todas son “número uno”, y además cuentan con un puesto específico en el ranking respaldado como credencial.
Y el caos también empieza con diversos rankings.
Lo más evidente es que el primer puesto es como un “buffet de turnos”: el “número uno” cambia con mucha frecuencia.
En el ranking líder de RoboChallenge Table30, en los últimos seis meses al menos ha habido cuatro cambios: primero, Qianxun Spirit v1.5 actualizó el récord con una tasa de éxito del 50.33%; poco después, lo superaron sucesivamente Jiajia Shijie GigaBrain-0.1, el Atlas de Boston Dynamics (EE. UU.) y Xingdong Yuan Era0.
Este ritmo es mucho más rápido que el de los rankings principales de modelos de lenguaje. De 2023 a 2025, en rankings como MMLU y GSM8K, las posiciones del número uno de GPT-4, Claude 3 y Gemini 1.5 suelen mantenerse durante meses e incluso un año. Incluso en la etapa de iteración acelerada de 2020 a 2022, GPT-3 y PaLM también cambiaban el ranking en ciclos de meses. “Para la inteligencia encarnada actual, que un solo modelo domine el ranking durante una semana ya no es fácil”, dijo Mi Fan, una persona dedicada a una empresa líder de inteligencia encarnada.
Las principales causas se pueden resumir en dos puntos. Primero, la aleatoriedad del mundo físico: si el mismo modelo corre dos veces con robots reales, es normal que la tasa de éxito difiera entre tres y cinco puntos porcentuales. La iluminación, la posición de los objetos y las tolerancias mecánicas de los brazos influyen en el resultado. En cambio, rankings de modelos de lenguaje como MMLU tienen preguntas fijas y un sistema de puntuación determinista: si el mismo modelo corre 100 veces, la puntuación casi no cambia. Segundo, el grado de apertura de las tareas de prueba. En Table30 de RoboChallenge, la distribución de las 30 tareas se publica. Cada casa puede recopilar datos específicamente para esas tareas, hacer fine-tuning al modelo y volver a presentarlo. Así, la “caducidad” del primer puesto se comprime hasta medirse en semanas.
Lo que confunde todavía más es que, dentro de un mismo ranking, pueden aparecer varios “números uno” al mismo tiempo.
World Arena es un ejemplo típico. Zhi Neng GE-Sim 2.0 y Kua Wei DSCFuncWorld también dicen que “lideran World Arena”. Pero la realidad es que este ranking contiene múltiples categorías. Zhi Neng GE-Sim 2.0 ocupa el primer lugar en Track1 (percepción y respuesta a acciones) con 68.26 puntos; Kua Wei DSCFuncWorld ocupa el primer lugar en Track2 (motor de datos). Los “números uno” pertenecen a subrankings diferentes, pero hacia fuera se escriben como si fueran la misma frase.
Para lectores que no están familiarizados con la segmentación de la pista, la afirmación de “primer puesto en World Arena” en tablas en paralelo apenas se puede distinguir entre dos casas; incluso podrían sospechar que alguien está mintiendo. Pero en realidad, nadie dijo algo incorrecto: simplemente no es lo suficientemente preciso.
Hay además una zona más borrosa: la naturaleza del ranking se mezcla. El valor del “número uno” se da por sentado como si fuera de la misma categoría, lo que facilita la desinformación.
En el discurso hacia fuera de algunas empresas, a menudo aparecen al mismo tiempo: “este modelo es el número uno en RoboChallenge”, y “también es el número uno en la evaluación de algún medio de inteligencia encarnada”. El primero es la tasa de éxito que sale de correr robots reales 7×24 horas; el segundo puede ser solo una lista cerrada por el equipo editorial, o incluso acordada tras una colaboración comercial. Las dos se colocan en paralelo en una misma frase, pero su “valor” se da por sentado como si pertenecieran a la misma categoría.
De las opciones, la más difusa es el “ranking industrial” (产业榜). Algunos rankings presumen con “industrial”, pero no es un ranking “duro” fijado por robots reales, ni es un benchmark respaldado por una institución académica. Suele ser un ranking de puntuación hecho en conjunto por una consultora o un medio. Situaciones parecidas han aparecido también en el mundo de los modelos de lenguaje. Pero a medida que los rankings académicos, las evaluaciones comerciales y los rankings de medios se fueron separando en capas, el “doble número uno” se fue desmontando poco a poco. Y en la inteligencia encarnada, ahora mismo, todavía está en esa fase que aún no se ha estratificado.
La superposición de estas tres situaciones hace que el “número uno” de los rankings se inflacione gravemente. Y además, esta inflación no se queda solo en el nivel del marketing: el título de “número uno” suele traer atención, recursos y, de forma tangible, una prima de valoración.
02 ¿Cómo se fabrica un “número uno”?
Ya que el ranking puede mover dinero real, ¿cómo se fabrica el primer lugar? Así también se ha formado un “conjunto de normas no escritas” (reglas tácitas). Personas del sector explican que, aunque el caso de Qianxun Spirit v1.6 es un ejemplo extremo, la creación de “números uno” no es rara en la industria; las técnicas, en general, son tres.
La forma más barata y también la más común es el embalaje mediante discursos: “el número uno en una sola materia” se convierte en “número uno en el total”. La clave consiste en eliminar las palabras clave limitantes.
Por ejemplo, en realidad se trata de “RoboTwin 2.0: número uno en coordinación de doble brazo, tipo VLA de Clean”. Hacia fuera se convierte en “coronó RoboTwin 2.0”. En realidad es “número uno especializado en generalización de escenarios LIBERO-Plus”; hacia fuera se convierte en “líder del ranking de LIBERO-Plus”. No hay falsificación de datos, y la marca es real, pero el alcance que describe el “número uno” se amplifica de forma artificial.
La segunda forma es usar métodos como “practicar exámenes” para intervenir directamente en el resultado.
Una forma es “practicar siguiendo las preguntas del examen”. Las distribuciones de tareas, los criterios de puntuación y los parámetros del entorno que se publican en los rankings se pueden usar para entrenamientos dirigidos después de ajustar el objetivo. En algunos rankings donde las tareas son relativamente fijas, esto se nota especialmente; cada casa puede obtener altas puntuaciones repitiendo “hacer ejercicios”, sobreajustándose a un escenario específico y cambiando de contexto.
Mi Fan dice que en algunos rankings de la esfera de inteligencia encarnada, las tareas de prueba están publicadas. Las empresas pueden recopilar datos específicamente para esas tareas, ajustar el modelo y luego presentarlo. En la comunidad de inteligencia encarnada esto se considera una iteración normal, no es hacer trampa; y es diferente de manera esencial a los problemas de “fuga de datos” o “contaminación de datos” en el ámbito de LLM.
Otra vía consiste en aprovechar lagunas del mecanismo de evaluación. Algunos rankings tienen mucha autoridad, pero el mecanismo deja huecos. Por ejemplo, RoboArena usa registro abierto y evaluación distribuida: la intención era permitir que participara más gente, pero dejó tres “agujeros”.
Primero, el acceso para los evaluadores no tiene barreras. Cualquiera puede registrarse como árbitro; en el corto plazo, una gran cantidad de cuentas nuevas se concentran evaluando el mismo modelo, y así la puntuación Elo se puede elevar rápidamente;
En segundo lugar, el emparejamiento no exige cobertura total. ¿El reparto aleatorio del rival no es equivalente a tener que jugar una ronda con todos los que están en el ranking en esa misma tanda? Cuando se asignan tareas al evaluador, A es fijo; B se elige aleatoriamente de modelos con puntuaciones cercanas. Cuando el tamaño de la muestra no es suficientemente grande, es totalmente posible que dos modelos ni siquiera se enfrenten una sola vez. Por ejemplo, al inicio, Spirit v1.6 se enfrentó con DreamZero: después de 23 enfrentamientos se detuvieron, y frente a Cosmos3-Nano-Policy de Nvidia, que entró al ranking el 30 de mayo, fueron cero enfrentamientos.
En tercer lugar, evaluación masiva y concentrada: usando varias cuentas para evaluar intensamente el propio modelo, se reduce el registro negativo. Por ejemplo, en los 310 registros de evaluación de Spirit v1.6, el 72% de las puntuaciones provino de dos cuentas, ECUST y Robotics Lab. Ellos usaron 224 rondas de evaluación para lograr una tasa de victoria del 97%, empujando Spirit v1.6 al primer lugar. Pero Nvidia, con las mismas condiciones, se autoevaluó 21 veces: su tasa de éxito fue 0%. Cuando se colocan ambos conjuntos de datos juntos, hace que los profesionales al menos duden.
Después, RoboArena añadió reglas: los evaluadores deben ser terceros sin relación de intereses; así se cierra la puerta a las cuentas que se evalúan a sí mismas. Las cuentas con una tasa de finalización de la evaluación inferior al 20% se marcan como sospechosas, bloqueando también la “asignación selectiva” (emparejamiento). Tras el tratamiento, Qianxun cayó fuera del ranking.
Otra forma es la más oculta y también la más extendida: el intercambio de recursos, convirtiendo directamente el ranking en un negocio.
En varios rankings de medios, los criterios de selección no son transparentes. En algunos casos, incluso existe una colaboración comercial con el sujeto evaluado: ambos publican conjuntamente un “informe de autoridad” y empaquetan el ranking de medios y los benchmarks académicos de manera paralela. No implica tecnología ni implica datos: solo implica presupuesto y relaciones. No es raro que profesionales del sector digan que fenómenos como “rascar rankings” y “comprar rankings” ocurren con frecuencia.
Estas tres técnicas suelen superponerse: primero, se usan entrenamientos dirigidos o se “tallan atajos” para llevar la puntuación hacia arriba; luego, se camufla el origen con el intercambio de contexto del propio “carril” (pista); y al final, se difunde hacia afuera con un discurso persuasivo. Si hace falta, incluso se compra un ranking de medios como respaldo. Bajo capas de empaque, el “número uno” acaba siendo simplemente eso.
Estas tácticas no son un secreto dentro de la industria. El problema real es que, para verlas con claridad, hace falta cierta base técnica. Cuanto más compleja es la tecnología, más difícil es para el profano distinguirla; y por tanto, es más fácil contar historias.
03 Quitar el “agua”, ¿entonces en qué más hay que creer?
Más de una persona del sector de inteligencia encarnada admite que hoy ya no se fijan tanto en la posición en los rankings, porque se pueden “rascar” y también se pueden “comprar”. Incluso si todo es conforme, la complejidad del entorno físico hace que sea difícil que los datos sean 100% precisos.
Un problema más profundo es que, a día de hoy, esta industria todavía no tiene una “vara universal” de medición.
Gashero, una persona dedicada en la industria de inteligencia encarnada, usó una analogía: “huevos fritos” y “ensalada fría”. El robot A se le da bien freír huevos: tasa de éxito 90%; el robot B se le da bien hacer ensalada fría: tasa de éxito 85%. Pero no se puede concluir que A sea mejor que B solo por eso. Freír huevos pone a prueba la captura y el volteo; hacer ensalada fría pone a prueba servir con precisión y mezclar. Son habilidades distintas, con dificultad distinta, y también criterios de evaluación distintos. Hoy en día, la pista de inteligencia encarnada aún no tiene un estándar unificado que permita convertir “la capacidad de freír huevos” y “la capacidad de hacer ensalada fría” en el mismo sistema de puntuación.
Pero esto no significa que los rankings no tengan ningún valor. En general, los profesionales del sector creen que los rankings aún sirven como referencia; la clave es saber qué merece la pena mirar y, después de mirarlo, qué más habría que mirar.
Según el consenso general del sector, los rankings realmente confiables, en esencia, tienen tres características al mismo tiempo.
Primero, transparencia por apartados: no es solo lanzar un “número uno” al azar.
Tanto en rankings integrales como en rankings especializados, lo más fiable es desglosar cada partida una por una. Por ejemplo, en RoboChallenge Table30, se mide la tasa de éxito integral de 30 tareas cotidianas. La fiabilidad está en que no solo se le dice al lector el número integral de 64.33%, sino que también se le muestra qué tareas de las 30 se hicieron bien y cuáles fallaron. Un ranking que solo reporta la puntuación total y no muestra los detalles pierde mucho valor.
En segundo lugar, la evaluación la controla un tercero y además hay un diseño que evita la “anti-preparación” para el examen (anti “刷题”).
MolmoSpaces no permite fine-tuning; el modelo se presenta “a pelo”. LIBERO-Plus, en cambio, agrega perturbaciones extremas como mutaciones de iluminación, fondos caóticos y cambios en el ángulo de la cámara, precisamente para evitar conseguir puntos memorizando de antemano. Su característica común es hacer que “practicar exámenes” sea más difícil y que la generalización se convierta en un verdadero umbral.
En tercer lugar, mira el mecanismo de evaluación, no la frecuencia de actualización.
Los rankings que actualizan despacio no necesariamente son fiables; los que actualizan rápido tampoco necesariamente se pueden “hackear”. Algunos actualizan lento porque el coste de evaluar con robots reales es extremadamente alto: por ejemplo, en RoboChallenge un ciclo completo de evaluación puede durar varias semanas; 30 tareas, 10 ejecuciones por tarea, en total 300 intentos con robots reales, 24/7 durante 7×, con funcionamiento continuo. Esto impone una restricción por “coste físico” en el mundo real. En cambio, algunos actualizan rápido debido al diseño del mecanismo. Por ejemplo, RoboArena usa un sistema de puntuación Elo para rankings dinámicos: entran nuevos datos de combates todos los días y, por tanto, el ranking se actualiza cada día. Que sea rápido por sí mismo no es un problema; su credibilidad depende de si el mecanismo es lo bastante riguroso y si se han cerrado las posibles “lagunas”.
Pero si dentro del sector todos saben que el ranking tiene “agua”, ¿por qué todos siguen esforzándose por “rascarlo”?
La respuesta está en la etapa en la que se encuentra la industria en ese momento.
La batalla por “el número uno” de ahora es, en esencia, un producto de la ansiedad del capital. Este año es un año de iteración intensa de los modelos base de la inteligencia encarnada. En la etapa temprana, los volúmenes de salida, ingresos y pedidos no son estables; solo se puede usar el ranking para “cubrir” la situación. El sesgo hacia la financiación no ha cambiado; mientras exista esa etapa, lo de “rascar rankings” no se detendrá.
Cuando la industria entre en la siguiente etapa, la medida para juzgar cambiará de forma natural. Por ejemplo: cuántas unidades se entregan cada año, qué clientes fijos hay, si se puede ser rentable. Para entonces, la inflación del “número uno” se disipará de manera natural y el ranking volverá a ocupar el lugar que debería tener.
Tal vez las empresas que no están ocupadas “rascando” rankings y se dedican a llevar a los robots a la línea de producción sean, en realidad, la respuesta verdadera para la industria.
(A petición del entrevistado; “Mi Fan” es un seudónimo en el texto)