Bâtiment : « émis depuis la salle en forme de fosse »
QbitAI | Page officielle WeChat
La collecte de données pour l’intelligence incarnée suit une nouvelle voie en plus.
Avant l’introduction officielle, faisons une petite interaction : en faisant abstraction de l’IA et sans consulter de documentation, quelles sont les méthodes de collecte de données d’intelligence incarnée existantes qu’on peut citer en 5 secondes ?
Les quatre méthodes les plus courantes sont la collecte via téléopération sur machine réelle, la collecte portable sans corps (UMI/Ego), la synthèse de données par simulation et la distillation de vidéos issues d’Internet.
(Sans ordre particulier ; je cite au hasard quelques exemples.)
Si on veut encore affiner en catégories, on peut aussi dresser une longue liste.
Au moins, les réponses que l’IA m’a données ressemblent à ça. Vous pouvez en faire l’expérience—
Récemment, une nouvelle voie a commencé à émerger et à devenir progressivement très populaire : cette approche élargit la perspective de la collecte de données, passant des actions externes vers le côté de la sortie motrice du corps humain.
C’est justement la solution d’actualité très remarquée : l’électromyographie neuro-musculaire (sEMG, Surface Electromyography).
OriginFlow (Yuanche Taichu) est l’une des startups les plus en vogue et les plus recherchées sur cette voie.
Fondateur et PDG, Qin Shentao, né en 2001. Actuellement doctorant à l’Institut des véhicules et des transports de l’université Tsinghua.
L’an dernier, en août, il a fondé OriginFlow à Pékin. Depuis ce mois de mai de cette année, la société a divulgué en externe avoir mené en continu un tour seed, un tour stratégique et un tour Pre-A1, pour un montant cumulé de plus de 500 millions de yuans renminbi. Parmi les investisseurs figurent BlueRun, Oasis, Monolith, etc.
Qin Shentao nous dit :
Il manque une couche entre les scénarios industriels réels et les modèles : une capacité permettant d’abstraire des informations d’interaction physique non structurées, à haute précision et avec une complexité riche, en représentations entraînables.
C’est pourquoi il a lancé sa propre startup d’infrastructure pour l’AGI physique, dans l’objectif de faire de l’électromyographie neuro-musculaire l’une des entrées de collecte des données incarnées.
Qin Shentao dit : à court terme, pour des solutions comme UMI ou la vision à la première personne d’Ego, NeuroScale est davantage un ajout ; mais la collecte de données « sans gêne » est sûrement une tendance importante à l’avenir.
Lorsque de nouvelles transformations émergent, la stratégie la plus adaptée est d’évoluer en synergie avec les technologies existantes.
Collecter des données incarnées avec une « interface neuronale »
Approchons d’abord la vie quotidienne pour ressentir ce que fait OriginFlow à ce stade.
Quand une personne serre un boulon, tient fermement un bol de soupe, ou saisit un objet souple, le corps fournit en continu de minuscules retours selon la situation réelle.
À quel moment les doigts se resserrent ? Comment la force varie-t-elle ?… En réalité, l’humain ne réfléchit pas sérieusement, un par un, à ces questions. Souvent, en un temps extrêmement court, le corps parvient à réaliser et exécuter tout un ensemble de jugements concernant le contact, le frottement, le poids et la stabilité.
OriginFlow espère consigner les réactions liées à cette couche, afin de les intégrer comme partie des données d’intelligence incarnée.
S’ils ont parié sur cette direction, il faut remonter au temps de Qin Shentao en licence.
Durant son cursus de premier cycle, Qin Shentao a mené l’équipe à remporter presque tous les championnats de compétitions robotiques possibles ; c’est aussi pendant cette période qu’il a eu des réflexions plus poussées :
Le clavier, la souris et la voix ne sont pas les moyens les plus directs de communiquer entre l’humain et la machine. Les mains de l’humain sont l’outil le plus flexible ; si la machine comprend l’intention réelle derrière les gestes de la main, l’interaction homme-machine franchira un nouveau cap.
Ainsi, l’interface neuronale entre dans le champ de vision de Qin Shentao, celui qui a une obsession pour l’intégration homme-machine et la coexistence harmonieuse avec l’ordinateur.
L’interface neuronale capte des signaux électriques cutanés liés aux neurones moteurs périphériques (c’est-à-dire les signaux d’électromyographie neuro-musculaire), en évitant les difficultés de l’interface cerveau-machine : forte invasivité, nombre élevé de canaux et correspondance avec des régions cérébrales.
Depuis la naissance officielle de l’électromyographie neuro-musculaire, elle a longtemps été limitée aux laboratoires universitaires.
Plus tard, avec l’itération des capteurs sans fil, des électrodes à sec et des algorithmes d’IA, l’électromyographie neuro-musculaire a commencé à être utilisée comme une entrée pour percevoir l’intention de mouvement du corps humain. Elle est largement appliquée à la biofeedback training en médecine de rééducation, à l’analyse d’actions en compétition sportive, à l’évaluation des troubles musculo-squelettiques liés au travail, ainsi qu’au contrôle discret des prothèses myoélectriques.
Images générées par IA
Prenons un exemple typique~
En 2019, le département de R&D central de Meta, Reality Labs, a acquis une entreprise d’interface neuronale non invasive, CTRL-Labs.
Avant l’acquisition, CTRL-Labs avait déjà publié un kit développeur, comprenant un appareil principal de la taille d’une montre et un composant de type câble de retenue contenant des électrodes.
Elle surveille, via des capteurs de graphiques d’électromyographie sur 16 canaux, les signaux électriques des muscles allant des neurones moteurs vers les doigts au niveau du poignet ; puis, grâce à des algorithmes d’IA, elle décode ces signaux et les transforme en commandes numériques (telles que cliquer, glisser, faire des gestes, etc.).
Deux ans plus tard, Meta a présenté publiquement pour la première fois un prototype de bracelet d’interface neuronale Meta Neural Band, basé sur la technologie de CTRL-Labs, avec une démo de son potentiel à contrôler l’interface AR en captant des micro-signaux neuronaux, par exemple pour taper dans l’air, choisir un menu, etc.
À l’époque, Mark Zuckerberg a déclaré que, comme elle permet de percevoir avec précision l’intention de l’utilisateur, même des actions qu’il n’a pas encore faites, cette façon d’interagir est une forme de « contrôle presque infini ».
L’an dernier, les troisième lunettes intelligentes de Meta ont déjà introduit un bracelet d’entrée neuronale : les utilisateurs peuvent contrôler directement l’interface sur les lunettes via des gestes de la main (imaginer un glissement, cliquer), sans autre action.
(Une information en coulisses : le geste de « serrage » sur Apple Watch pour confirmer, fermer une fenêtre, etc., repose principalement sur des capteurs optiques.)
Ce que préoccupent Meta et ses équipes n’est pas de savoir comment rendre les gens plus à l’aise pour cliquer, glisser ou saisir du texte ; la réflexion de Qin Shentao porte sur les conditions dont manque l’AGI physique.
Selon lui, d’abord, le manque crucial de données d’interaction physique de haute qualité est déjà devenu le principal facteur limitant l’amélioration progressive des robots d’intelligence incarnée.
Aujourd’hui, les méthodes de collecte de données incarnées présentent chacune des défauts. Et si on prenait l’électromyographie neuro-musculaire comme point d’entrée pour compléter davantage ?
Et en choisissant l’électromyographie neuro-musculaire, on pourrait potentiellement contourner les différences de matériaux des surfaces de contact et de capteurs spécifiques ; depuis les côtés de commande (entraînement) de l’humain et de la machine, on peut trouver une série de représentations d’actions partagées reliant l’activation des muscles, l’effort des tendons et le mouvement articulaire.
Collecter, à partir d’un seul bracelet
En 2025, Qin Shentao, doctorant, lance officiellement sa startup. Il fonde OriginFlow. La vision est de construire, pour la Physical AGI, un « socle d’actions » au-delà du texte et de la vidéo.
Peu après, l’équipe a proposé l’ensemble technologique NeuroScale.
NeuroScale n’est pas simplement l’ajout d’un bracelet EMG sur les équipements actuels de collecte de données incarnées.
C’est un système de données et de modèles allant de la collecte des signaux, à la reconstruction des grandeurs physiques, puis aux représentations d’actions, jusqu’au transfert entre corps.
Ce système prend comme entrée une interface neuronale motrice non invasive, fusionne des informations multimodales telles que l’électromyographie neuro-musculaire, la vision en première personne et l’IMU, puis reconstruit, via le modèle de base PULSE, la posture, les forces de contact et les forces motrices lors des opérations humaines ; enfin, il structure une opération réelle en Human Tokens apprenables par la machine.
NeuroScale se concentre depuis longtemps sur deux questions clés.
D’abord, comment réaliser une montée en échelle de Human Data ?
Autrement dit : sans trop perturber l’intuition naturelle de l’être humain ni son mouvement, enregistrer en continu les opérations réelles afin de produire davantage de données d’interaction physique de haute qualité.
Deuxièmement, comment réaliser un Cross-Embodiment Transfer entre Human et Robot : faire passer l’expérience motrice de l’humain, après représentation et adaptation, vers des robots ayant des structures différentes.
Sous ces deux questions, il y a aussi un problème technique plus fondamental : sous quelle forme les actions humaines devraient-elles entrer dans le modèle de base ?
Les tokens textuels se sont déjà formés de manière relativement mature, et la vision converge progressivement vers des représentations de type Patch ou Latent ; mais, jusqu’à présent, le mode « action » manque encore de représentations normatives reconnues.
OriginFlow décompose une opération physique en trois espaces spatiaux interdépendants :
MotionSpace : décrit la posture de la main et la trajectoire du mouvement
TactileSpace : décrit la force normale, la force tangentielle et les retours de contact
TendonSpace : décrit la force motrice des muscles, des tendons et les couples de force articulaires
Ainsi, la force motrice engendre le mouvement, le mouvement amène le contact, et le contact forme finalement la force d’action ; les trois composent ensemble une chaîne causale physique.
Les « Human Tokens » dont parle OriginFlow reposent précisément sur ces trois types de grandeurs physiques.
« D’un point de vue formel, l’humain peut être considéré comme une exception d’un espace de configuration d’embodiment. Ainsi, la migration « de l’humain vers le robot » est, essentiellement, un sous-problème de « migration entre corps ». » dit Qin Shentao.
Concrètement, les Human Data à grande échelle couvrent autant que possible la distribution la plus large des actions et compétences humaines ; tandis que les Cross-Embodiment Data, relativement plus petites mais dont la configuration de robots est suffisamment variée, fournissent des ancrages d’alignement entre l’humain et différents corps robotiques.
Après la combinaison des deux types de données, le modèle a une chance d’apprendre une série de représentations d’actions partagées, décorrélées du corps spécifique ; puis de rediriger, pour la même séquence d’actions humaines et d’informations de force, vers des robots ayant différents degrés de liberté et différents modes d’entraînement.
Par conséquent, OriginFlow ne cherche pas à copier directement les données d’opération de l’humain vers le robot. L’objectif est d’abord de trouver, entre différents corps, des actions, des relations de forces motrices et de contacts partageables, puis de réaliser l’adaptation et le mappage.
Dans le monde réel, en revanche, NeuroScale part d’un bracelet.
Le bracelet a été nommé OriginKitGen 1.0 : il est légèrement plus large que le bracelet d’Apple Watch, mais son volume global est plus petit et son poids plus léger.
Le bracelet est chargé de collecter les signaux myoélectriques cutanés de l’ordre du microvolt émis par le porteur ; son système utilise une acquisition sur 16 canaux, un flux de code d’environ 96 Ko par seconde, et réalise un modèle continu des mouvements de la main.
Mais le déploiement de NeuroScale ne dépend pas uniquement du bracelet.
Avec seulement le bracelet, le système ne peut connaître que les variations d’activité musculaire de l’avant-bras ; il lui est très difficile de déterminer ce que fait précisément chaque doigt.
Les signaux captés par OriginKitGen 1.0 entrent, avec la vision en première personne, l’IMU, etc., dans la chaîne de données de NeuroScale.
Après alignement, calibration et traitement, les signaux bruts sont ensuite extraits par le modèle de base PULSE développé en interne. Celui-ci y repère les indices liés à la posture de la main, à la trajectoire du mouvement, à la force de contact et à l’effort des tendons — correspondant respectivement à trois types de grandeurs physiques clés : Motion Space (espace du mouvement), Tactile Space (espace du toucher) et Tendon Space (espace des tendons). Côté matériel : filtrage, différenciation et suppression des artefacts de mouvement ; côté modèle : encodage des signaux neuronaux et apprentissage fortement supervisé — pour progressivement organiser des représentations d’actions que la machine peut apprendre.
C’est ce que l’équipe appelle les Human Tokens.
Durant le WAIC, Qin Shentao et son équipe ont présenté les résultats actuels : une démo de la version PULSE 0.2 :
Le bracelet collecte les signaux EMG de surface sur 16 canaux ; PULSE prend ces signaux comme entrée, effectue un modèle continu des mouvements de la main et observe les variations de la force lors des actions de pointage du doigt.
Contrairement à la reconnaissance de gestes discrets, PULSE se concentre sur le suivi continu de la main et la représentation de la force au bout des doigts.
Quand l’utilisateur réalise un geste pour pointer vers quelqu’un, le système peut observer en temps réel la variation de la force.
Cependant, reconstituer une action à partir d’une séquence de signaux neuronaux ne signifie pas encore qu’on a déjà obtenu des données directement utilisables pour entraîner des robots.
Les données brutes doivent encore passer par l’alignement des horloges de plusieurs appareils, l’étalonnage individuel, le traitement des artefacts de mouvement, la segmentation des tâches, l’annotation de l’action et de la force, la sélection de la qualité et le mappage cross-body (entre corps).
Pour cela, OriginFlow a aussi mis en place une Data Infra couvrant la production des données, leur traitement, leur évaluation et leur entraînement.
En son sein, ORACLE utilise des modèles multimodaux pour réaliser l’annotation automatisée des actions, forces, sémantiques et segments de tâches ; la base unifiée multimodale CHORD est chargée d’aligner, en termes de séquence et de représentation, entre l’électromyographie neuro-musculaire, la vision, l’IMU, le langage et l’état du robot.
Les données passeront ensuite, étape par étape, par des phases de qualité telles que : validité physique, validité de la tâche, validité de l’annotation, valeur du modèle, et évaluation sur machine réelle. Seules les données capables de produire une valeur réelle dans l’entraînement des modèles ou les tâches robotiques entreront dans le jeu de données final destiné à la livraison.
Autrement dit : il ne suffit pas de collecter les données ; il faut aussi pouvoir transformer des signaux bruts massifs en un actif de données entraînable, évaluable et réutilisable, à un coût marginal suffisamment faible.
De Human Data vers Enhance Human
La démo PULSE 0.2 ne montre qu’une petite partie des activités de l’entreprise, et le modèle lui-même n’est qu’une production à étapes.
En cours de développement, la version PULSE 0.3 explore davantage le lien entre l’effort des tendons et la cinématique avant (forward kinematics) du mouvement de la main.
Le bracelet mentionné plus tôt n’est d’ailleurs qu’un terminal de collecte actuel, pas la forme finale du produit.
Pour une approche qui dépend d’une collecte longue et à grande échelle, la question clé est de savoir si les équipements sont acceptés naturellement par les gens : de cela dépend la possibilité de produire des données en continu.
Qin Shentao dit qu’il faut d’abord que la personne soit disposée à porter l’équipement, puis qu’elle soit prête à le porter suffisamment longtemps.
En substance, OriginFlow souhaite enregistrer en continu la sortie d’actions de la personne dans le monde réel, tout en changeant au minimum ses modes de perception et de mouvement d’origine, puis transformer cela en Physical Tokens.
Ce n’est qu’ainsi que la collecte de données pourra sortir de l’usine de numérisation des données et des postes de travail spécialement montés, pour entrer dans la vie quotidienne et les processus de production réels.
À ce moment-là, pour les « mille milliards d’heures de données » aujourd’hui inatteignables dans le domaine de l’intelligence incarnée, il suffirait d’enregistrer les comportements de l’ensemble de l’humanité pendant environ dix jours.
Qin Shentao décrit ce processus comme un agrandissement continu du scaling des données.
Pour l’avenir, nous ferons progresser l’échelle de toutes les modalités de Human Data, des dizaines de millions d’heures, des centaines de millions d’heures… jusqu’à atteindre progressivement le cap des mille milliards d’heures.
Quant à la prochaine génération d’« entrée physique » imaginée par l’équipe, elle va progressivement vers une forme plus légère, plus naturelle et plus proche d’un produit grand public.
Dans leur vision, à l’avenir, les gens n’auront qu’à porter des lunettes et montres dotées d’attributs « grand public », voire des bracelets encore plus légers, afin de continuer à se modéliser dans la vie quotidienne et d’obtenir des facilités à partir de leur modèle personnel.
Globalement, à ce stade, ce que fait OriginFlow est encore en première étape de sa feuille de route de développement.
Ils ont défini pour eux une feuille de route en trois étapes : première étape, From Human : d’abord capter autant que possible la manière dont l’humain bouge ; distiller et transformer systématiquement l’expérience d’opération de la personne dans le monde physique en données et représentations apprenables par une machine.
OriginFlow espère, sans intervenir dans le processus de perception et de mouvement naturels de l’humain, reconstituer intégralement la sortie motrice de la personne.
L’ensemble du plan de collecte respecte en permanence le principe non invasif : s’assurer que la personne conserve son état d’origine, tout en permettant au système d’observer avec précision et de reconstituer les mouvements.
Deuxième étape : With Human.
À cette étape, on construira une nouvelle génération de matériel d’IA, incluant des robots, sous une forme Always-on, afin de s’intégrer aux activités et à la vie quotidienne ; ainsi, davantage de personnes pourront profiter de la valeur apportée par la prochaine génération d’interface homme-machine (Interface).
Troisième étape : Enhance Human pour les 10 à 30 prochaines années.
Bien sûr, entre une démo de pointage avec le doigt de PULSE 0.2 et l’échelle des « mille milliards d’heures » de Human Data multimodal, il y a encore une longue phase de validation d’ingénierie.
One More Thing
D’après des informations, des startups nationales utilisent aussi l’électromyographie neuro-musculaire pour collecter des données d’intelligence incarnée, notamment StrongBrain, Octopus Dynamics, SnowOrigin, Nianxiang Technology, Wujie Maikron, Handyi Technology, etc.