Texte | Dingjing One? Wang Lu
Éditeur | Wei Jia
Alors que la filière de l’intelligence incarnée continue d’attirer l’attention des capitaux, on voit aussi de plus en plus de classements connexes. Quand le « premier » devient presque un standard pour chaque entreprise, les classements gardent-ils encore une crédibilité ?
Il y a environ un mois, Qianxun Intelligence a déjà vécu un moment gênant. Début juin, son modèle d’assise incarné Spirit v1.6, sur le classement RoboArena, a dépassé les 1880 points de Nvidia Cosmos3 avec 1918 points, se plaçant un temps au « numéro un mondial ». Juste après, Qianxun a annoncé avoir terminé un tour de financement A+ de 1,5 milliard de yuans. En trois mois, elle a bouclé quatre cycles de financements intensifs, totalisant près de 5 milliards de yuans, établissant un nouveau record de fréquence de financement dans la filière de l’intelligence incarnée.
Mais dans l’industrie, les doutes sur la qualité des données d’évaluation ont commencé à monter presque dès le lendemain. Un observateur a noté qu’au sein de 310 enregistrements d’évaluations, 72 % des scores proviennent de deux comptes. Ce qui est encore plus préoccupant, c’est qu’ensuite, l’official de RoboArena a publié une déclaration : après enquête et rétrospection, elle a retiré certaines données d’évaluation jugées douteuses et mis à jour le classement. Spirit v1.6 a également été retiré du classement en conséquence.
Mais cet épisode n’a pas éteint l’enthousiasme des joueurs. En ouvrant les actualités de l’industrie des six derniers mois, on voit que Star Animation Yuan, Force Lingji, Jixian Shijie, Zhiyuan, Kuawen, Luming… presque chaque grande entreprise a en main un « premier », et ces « premiers » portent sur des dimensions différentes.
Ce spectacle s’explique peut-être assez facilement : l’intelligence incarnée n’a pas encore de voie technique unifiée, et les taux de réussite sur machine réelle se bloquent souvent autour de cinq à six sur dix. Pour juger si une entreprise « fait vraiment le travail », le public n’a souvent plus d’autre choix que de s’appuyer sur les classements. Mais quand les acteurs qui publient le classement sont aussi des universités et des institutions, et que des médias s’en mêlent, avec des standards différents, voire des commandes et des relations d’intérêt, se pose la question : le classement peut-il encore servir de mètre ?
Un investisseur qui suit la filière d’intelligence incarnée reconnaît que les classements reflètent davantage un comportement de marché ; au maximum, ils servent de référence pour des décisions d’investissement. Il n’est pas surpris par l’affaire Qianxun. Selon lui, ce qui intéresse vraiment le classement n’est pas forcément des institutions fondées sur des objectifs financiers ou techniques, mais plutôt des fonds d’orientation locale ou des capitaux à dominante d’État : un « premier » peut être précisément un « bon point d’entrée » qu’ils écrivent dans leurs rapports. Mais il y a aussi des investisseurs qui pensent autrement : dans les premiers stades, où les barrières technologiques sont élevées et l’information est asymétrique, les classements fournissent au moins un point de départ pour la comparaison horizontale.
Quand le nombre de « premiers » dépasse celui des entreprises qui font sérieusement des robots, que mesurent ces classements : la technologie, ou la capacité à raconter une histoire ? Quels classements méritent encore d’être consultés ?
01 La voie technique n’est pas encore unifiée : chacun a d’abord son « premier »
D’abord, examinons les classements disponibles sur le marché aujourd’hui pour avoir une impression globale. D’après un décompte incomplet, il existe plus de 20 classements actifs dans l’intelligence incarnée. Selon le contenu évalué, ces classements peuvent à peu près être classés en trois catégories.
Le classement global VLA (pour les opérations) évalue si le robot « sait vraiment faire le boulot ». On y mesure le taux de réussite des tâches. Les classements représentatifs sont RoboChallenge Table30 et MolmoSpaces ;
Le classement des modèles de monde (World Model) teste si le raisonnement interne est correct : il évalue la capacité du modèle à raisonner sur le monde physique, sans juger si les bras et les jambes du robot sont agiles. Les références typiques sont World Arena et WorldModelBench ;
Classement de références spécialisées : il s’agit de tester « est-ce que ça se trahit dans des situations extrêmes ? ». Il est ciblé sur des capacités extrêmes ponctuelles : par exemple la coordination à deux bras, ou le passage de la simulation à la vraie machine. Les références typiques sont RoboTwin 2.0, SimplerEnv, LIBERO et CALVIN. Sa valeur réside dans le fait que, dans des scénarios extrêmes que le classement global ne couvre pas, il force à faire ressortir les faiblesses du modèle.
Il faut préciser que ces trois types de classements ont chacun leurs priorités et ne se remplacent pas. Les classements sur machine réelle testent l’exécution ; les classements de modèles de monde testent le raisonnement ; les classements spécialisés testent les limites. Aucun d’eux ne couvre l’ensemble des capacités de l’intelligence incarnée.
Avec ce repère, on peut ranger les comptes-rendus de guerre des modèles d’assise incarnés sur les six derniers mois. Si l’on rassemble les comptes-rendus des deux derniers mois, on obtient une liste assez impressionnante.
En mai de cette année, Star Animation Yuan Era0 affirme avoir décroché la première place de RoboChallenge Table30 ; Zhiyuan GE-Sim 2.0 est premier de la piste World Arena Track1 ; Kuawen DSCFuncWorld est premier de la piste World Arena Track2. À l’entrée en juin, Qianxun Spirit v1.6 remporte le premier rang de RoboArena (puis retiré), tandis que Luming Prime R0 prend la tête de MolmoSpaces. Presque chaque entreprise est « premier », et chacune a un classement précis qui sert de caution.
Et les dérives, elles aussi, commencent souvent avec toutes sortes de classements.
Le plus évident, c’est que le « premier » au sommet ressemble à une succession de places tournantes : le « numéro un » change très souvent.
Le numéro un du classement RoboChallenge Table30 a changé au moins quatre fois au cours des six derniers mois : d’abord, Qianxun Spirit v1.5 a battu le record avec un taux de réussite de 50,33 %, puis l’a rapidement dépassé Jixian Shijie GigaBrain-0.1, ensuite Boston Dynamics Atlas aux États-Unis, puis Star Animation Yuan Era0.
Ce rythme est bien plus rapide que celui des classements grand public de grands modèles de langage. De 2023 à 2025, sur des classements comme MMLU et GSM8K, les positions de tête de GPT-4, Claude 3 et Gemini 1.5 tiennent généralement plusieurs mois, voire jusqu’à un an. Même durant la phase d’itération rapide de 2020 à 2022, GPT-3 et PaLM avaient des cycles de mise à jour en mois. « Pour l’intelligence incarnée d’aujourd’hui, qu’un seul modèle domine le classement pendant une semaine, ce n’est déjà pas facile », a déclaré Mi Fan, un acteur travaillant dans une entreprise phare d’intelligence incarnée.
Les principales raisons se résument à deux points. D’abord, l’aléa dans le monde physique : faire tourner deux fois le même modèle sur machine réelle peut naturellement faire varier le taux de réussite de 3 à 5 points. L’éclairage, la position des objets et les tolérances des bras mécaniques influencent les résultats. En revanche, des classements de grands modèles de langage comme MMLU utilisent des sujets fixes et un scoring déterministe : en faisant tourner le même modèle cent fois, le score change très peu. Ensuite, le niveau de publicité des tâches de test : comme Table30 de RoboChallenge, la répartition des 30 tâches est publique ; chaque acteur peut donc collecter des données spécifiquement sur ces tâches, ajuster finement le modèle puis soumettre. Ainsi, la « période de validité » du classement du numéro un est ramenée à une échelle de semaines.
Ce qui est encore plus déroutant, c’est qu’au sein d’un même classement, plusieurs « premiers » peuvent apparaître en même temps.
World Arena est un exemple typique : Zhiyuan GE-Sim 2.0 et Kuawen DSCFuncWorld revendiquent tous deux « être en tête de World Arena ». Mais en réalité, ce classement contient plusieurs pistes : Zhiyuan GE-Sim 2.0 est premier sur Track1 (perception et réponse aux actions) avec 68,26 points ; Kuawen DSCFuncWorld est premier sur Track2 (moteur de données). Les « premiers » appartiennent à des sous-classements différents, mais à l’extérieur, ils sont tous regroupés dans la même phrase.
Pour les lecteurs qui ne connaissent pas bien la façon dont on segmente les pistes, la notion de « premier de World Arena » à deux, entre deux entreprises, est presque impossible à distinguer. On pourrait même se demander s’il y a quelqu’un qui ment. En réalité, personne n’a tort : c’est juste que ce n’est pas assez précis.
Il y a aussi une zone plus floue : la nature des classements se mélange. La valeur d’un « premier » est pourtant supposée relever de la même catégorie, ce qui est propice aux malentendus et à la manipulation.
Dans les communications externes de certaines entreprises, on voit souvent qu’elles listent à la fois « tel modèle est premier au classement RoboChallenge », et « lors d’évaluations d’un média spécialisé en intelligence incarnée, il est aussi premier ». Le premier correspond à un taux de réussite mesuré en machine réelle 24 h/24 et 7 j/7 ; le second peut n’être qu’une liste décidée en vase clos par la rédaction, voire arrêtée dans un cadre de coopération commerciale. En les mettant côte à côte dans une seule phrase, la valeur se retrouve pourtant supposée être la même.
Parmi les formulations les plus floues, il y a les « classements industriels ». Certains classements affichent le mot « industrie », mais ne sont ni des classements sur machine réelle verrouillés, ni des benchmarks dont l’institution académique donne sa caution. Ce sont plutôt des grilles de scoring organisées conjointement par des sociétés de conseil ou des médias. Ce genre de cas existe aussi dans la sphère des grands modèles de langage ; mais à mesure que les classements académiques, les évaluations commerciales et les classements média se spécialisent et se séparent progressivement, le phénomène de « deux premiers » a lentement été démantelé. En intelligence incarnée, en revanche, on en est encore à l’étape où rien n’est encore séparé.
En additionnant ces trois phénomènes, le résultat est une « inflation » sévère des « premiers » dans les classements. Et cette inflation ne se limite pas au niveau marketing : un titre de « premier » permet souvent d’obtenir de l’attention, des ressources et même une prime d’évaluation concrète.
02 Comment un « premier » se fabrique-t-il ?
Puisque les classements peuvent faire bouger de l’argent réel, comment fabriquer un « premier » a aussi donné lieu à des « règles non écrites » (pratiques implicites). Des initiés expliquent que, même si Qianxun Spirit v1.6 est un cas extrême, le phénomène de fabrication de « premier » n’est pas rare dans l’industrie. Les méthodes se résument à trois types.
La méthode la moins coûteuse et la plus courante consiste à habiller le discours : « premier par matière » devient « premier au total ». Le cœur du procédé est de supprimer les termes limitatifs clés.
Par exemple, en réalité, le classement correspond à « RoboTwin 2.0 double bras, coordination de type VLA, premier du mode Clean » ; à l’extérieur, cela devient « premier sur RoboTwin 2.0 ». En réalité, c’est « premier spécialisé de généralisation de scènes LIBERO-Plus » ; à l’extérieur, cela devient « tête du classement LIBERO-Plus ». Les données ne sont pas falsifiées et les résultats sont réels, mais la portée de ce que désigne le « premier » est artificiellement élargie.
La deuxième méthode consiste à intervenir directement sur le résultat en utilisant des «刷题» (faire des exercices).
L’un des moyens, c’est « s’entraîner en suivant les sujets ». Les répartitions de tâches, les critères de notation et les paramètres d’environnement publiés sur les classements peuvent servir à un entraînement ciblé. Sur certains classements où les tâches sont relativement fixes, c’est particulièrement évident : chaque acteur peut, en « faisant beaucoup d’exercices », finir par sur-apprendre à un contexte précis et obtenir ainsi des scores élevés.
Mi Fan dit que, sur certains classements de la discipline d’intelligence incarnée, les tâches de test sont publiques : chaque entreprise peut collecter des données spécifiquement sur ces tâches, puis affiner le modèle avant de soumettre. Dans la communauté incarnée, cela est considéré comme une itération normale, pas de la triche, avec une différence fondamentale par rapport aux « fuites de données » ou « contaminations de données » dans le domaine des LLM.
Une autre voie consiste à exploiter des failles du mécanisme d’évaluation. Certains classements ont une forte autorité, mais le mécanisme comporte des trous. Par exemple, RoboArena adopte une inscription ouverte et une évaluation distribuée : l’intention est de permettre à davantage de personnes de participer, mais cela laisse trois failles.
Premièrement, l’identité de l’évaluateur n’est pas soumise à conditions. N’importe qui peut s’inscrire pour être arbitre ; à court terme, un grand nombre de nouveaux comptes se concentrent sur l’évaluation d’un même modèle, ce qui permet de faire grimper rapidement son score Elo.
Deuxièmement, l’appariement n’impose pas la couverture exhaustive : une « répartition aléatoire » des adversaires ne veut pas dire qu’il faut jouer une ronde complète contre tous ceux qui sont en tête au même moment. Quand un évaluateur récupère une tâche, A est fixe ; B est tiré au hasard parmi des modèles ayant des scores proches. Si la taille de l’échantillon n’est pas assez grande, il est tout à fait possible que deux modèles ne se rencontrent jamais. Par exemple, dans les premières confrontations de Spirit v1.6 avec DreamZero : après 23 matchs, pause ; et avec Cosmos3-Nano-Policy de Nvidia, entré dans le classement le 30 mai, il n’y a eu aucun duel.
Troisièmement, faire du «刷评» en concentré : utiliser plusieurs comptes pour évaluer intensivement son propre modèle afin de diminuer les traces négatives. Par exemple, dans les 310 enregistrements d’évaluation de Spirit v1.6, 72 % des scores viennent de deux comptes : ECUST et Robotics Lab. Ils ont obtenu un taux de victoire de 97 % en faisant 224 évaluations, ce qui a poussé Spirit v1.6 à la première place ; mais Nvidia a fait un auto-test dans les mêmes conditions 21 fois, avec un taux de victoire de 0 %. Avec les deux jeux de données côte à côte, les professionnels se sont naturellement mis à douter.
Après coup, RoboArena a complété les règles : les évaluateurs doivent être des tiers sans lien d’intérêt, pour fermer l’accès au « self-test » via des comptes. Les comptes avec un taux d’achèvement d’évaluation inférieur à 20 % sont signalés comme suspects, et on bloque le matching sélectif. Après cela, Qianxun est tombé du classement.
Il existe aussi une autre façon, la plus discrète et la plus répandue : l’échange de ressources, où l’on transforme directement le classement en affaire.
De nombreux médias ne rendent pas leurs critères de sélection transparents. Parfois, ils ont carrément une coopération commerciale avec les entités évaluées : les deux publient ensemble un « rapport d’autorité » qui met côte à côte le classement média et le benchmark académique, en les emballant de façon similaire. Cela ne concerne ni la technique, ni les données : seulement le budget et les relations. Plus d’un acteur de l’industrie a déclaré que des phénomènes comme « faire grimper son rang », voire « acheter des classements », ne sont pas rares.
Ces trois méthodes s’additionnent souvent : d’abord, obtenir les scores en les « grindeant » grâce à un entraînement ciblé ou en exploitant des failles ; puis, masquer la source en jouant sur le changement de définition de la piste ; enfin, diffuser via des arguments de communication. Le cas échéant, on achète aussi une caution de classement média. À travers ces emballages successifs, « le premier » devient tout simplement « un produit ».
Ces méthodes ne sont pas un secret à l’intérieur de l’industrie. Le vrai problème, c’est que les démasquer demande un certain socle technique : plus la technique est complexe, plus les non-initiés ont du mal à distinguer, et plus il est facile de « raconter une histoire ».
03 Une fois qu’on retire l’eau, à quoi faut-il encore croire ?
Plus d’un acteur de l’intelligence incarnée a admis qu’ils ne regardent plus trop les classements aujourd’hui : ils sont « faisables », « achetables » ; même si tout est conforme, la complexité de l’environnement physique rend très difficile d’assurer des données parfaitement exactes.
Le problème plus profond, c’est que l’industrie n’a pas encore une « règle universelle » qui fasse office de mètre commun.
Un professionnel de l’intelligence incarnée, gashero, a utilisé une métaphore : « faire sauter des œufs » et « mélanger des salades ». Le robot A excelle à faire sauter des œufs, avec un taux de réussite de 90 %. Le robot B excelle à préparer une salade froide, avec un taux de réussite de 85 %. Mais on ne peut pas pour autant dire que A est plus fort que B. Faire sauter des œufs teste la préhension et le retournement ; préparer une salade teste le dosage précis et le mélange. Ce sont deux compétences différentes, des difficultés différentes, et des critères d’évaluation différents. À l’heure actuelle, la filière d’intelligence incarnée n’a pas encore un standard unifié qui puisse convertir « la capacité à faire sauter des œufs » et « la capacité à préparer une salade » dans un même système de score.
Cela dit, cela ne signifie pas que les classements n’ont aucun intérêt. La plupart des professionnels estiment qu’ils ont encore une valeur de référence, à condition de savoir quoi vaut la peine d’être regardé, et quoi regarder après avoir fini.
D’après le consensus interne de l’industrie, les classements vraiment fiables possèdent globalement trois caractéristiques.
Premièrement, les sous-chapitre sont transparents : ce n’est pas juste brandir « un premier ».
Qu’il s’agisse des classements globaux ou des classements spécialisés, la manière fiable consiste à détailler les sous-éléments un par un. Par exemple, pour RoboChallenge Table30 : il mesure le taux de réussite global sur 30 tâches quotidiennes. La crédibilité tient au fait que le classement ne fait pas que donner au lecteur un chiffre global de 64,33 %, mais lui montre aussi quelles tâches parmi les 30 sont bien exécutées et lesquelles décrochent. Un classement qui ne rapporte que le total, sans détails, perd beaucoup de valeur.
Deuxièmement, l’évaluation est contrôlée par un tiers, et il existe aussi une conception qui empêche de « faire du débriefing/exercices » à l’avance.
MolmoSpaces n’autorise pas le fine-tuning : le modèle passe donc en « test à nu ». LIBERO-Plus, lui, ajoute des perturbations extrêmes comme des mutations de l’éclairage, des arrière-plans désordonnés et des changements d’angle de caméra, pour empêcher de gagner uniquement par mémorisation. Le point commun, c’est que cela rend le « grind d’exercices » plus difficile et que la généralisation devient de fait un vrai seuil.
Troisièmement, regarder le mécanisme d’évaluation, pas seulement la fréquence de mise à jour.
Les classements qui mettent longtemps à être mis à jour ne sont pas forcément fiables ; ceux qui se mettent à jour vite ne sont pas forcément impossibles à « tricher ». Certains classements mettent du temps à jour parce que l’évaluation sur machine réelle coûte extrêmement cher. Par exemple, pour RoboChallenge, un cycle complet d’évaluation peut prendre plusieurs semaines : 30 tâches, chacune exécutée 10 fois, soit 300 tentatives sur machine réelle ; 24 h/24 et 7 j/7 de fonctionnement continu. C’est une contrainte de coût du monde physique. D’autres classements se mettent à jour vite grâce à la conception du mécanisme. Par exemple, RoboArena utilise un système de notation Elo pour le classement dynamique : chaque jour arrivent de nouvelles données de combats, et le classement se met donc à jour quotidiennement. Le fait que ce soit rapide n’est pas en soi le problème : sa crédibilité dépend de la solidité du mécanisme et du fait que les failles soient comblées.
Mais si tout le monde dans le milieu sait que les classements ont de l’eau, pourquoi tout le monde continue de s’acharner à les « grinder » ?
La réponse réside dans l’étape actuelle de la filière.
La bataille actuelle pour les « premiers » est, dans l’essence, le produit d’une anxiété du capital. Cette année est celle de l’itération dense des modèles d’assise incarnés : au début, les livraisons, les revenus et le nombre de commandes étaient instables, donc il fallait utiliser les classements pour se « tenir debout ». La logique d’orientation vers le financement n’a pas changé : tant qu’il y a cette phase, le « grind de classements » ne s’arrêtera pas.
Quand l’industrie entrera dans la prochaine étape, les critères d’évaluation basculeront naturellement : par exemple, combien de machines livrer par an, quels clients fixes, et est-ce que l’entreprise parvient à être rentable. À ce moment-là, l’inflation des « premiers » se dissipera d’elle-même, et les classements reviendront à la place qu’ils devraient occuper.
Peut-être que la vraie réponse du secteur se trouve plutôt du côté des entreprises qui ne passent pas leur temps à « grimper les classements », mais qui se concentrent à faire entrer leurs robots dans la chaîne de production.
(à la demande de l’interviewé, « Mi Fan » est un pseudonyme)