Publier
weln
·
--
Présentation du Benchmark Open #axis , un moteur de benchmark vivant pour une évaluation honnête des modèles de manipulation robotique, construit avec @openroboto . #OpenRobotics
Les modèles robotiques évoluent plus vite chaque mois, tandis que la plupart des benchmarks restent figés. Les modèles s’adaptent trop à des ensembles de tâches fixes : les scores cessent de refléter la généralisation réelle, et ce signal déformé trompe et freine l’évolution des modèles.
Le Open Axis Benchmark ne fait pas que grandir. Il permet aussi à l’évaluation de suivre le rythme des modèles : chaque session verrouille un nouvel ensemble de tâches tiré de la bibliothèque Axis en expansion, afin que les modèles prouvent leur capacité à généraliser plutôt que de mémoriser le test.
Axis fournit le moteur de données qui le sous-tend, en produisant en continu des tâches à l’échelle et avec la diversité nécessaires pour tester réellement la généralisation. Avec le Open Axis Benchmark, la même boucle qui permet d’entraîner les robots alimente aussi la façon dont ils sont évalués.
Soumettez votre modèle : openroboto.ai
Docs : openroboto.ai/#/docs
Les modèles robotiques évoluent plus vite chaque mois, tandis que la plupart des benchmarks restent figés. Les modèles s’adaptent trop à des ensembles de tâches fixes : les scores cessent de refléter la généralisation réelle, et ce signal déformé trompe et freine l’évolution des modèles.
Le Open Axis Benchmark ne fait pas que grandir. Il permet aussi à l’évaluation de suivre le rythme des modèles : chaque session verrouille un nouvel ensemble de tâches tiré de la bibliothèque Axis en expansion, afin que les modèles prouvent leur capacité à généraliser plutôt que de mémoriser le test.
Axis fournit le moteur de données qui le sous-tend, en produisant en continu des tâches à l’échelle et avec la diversité nécessaires pour tester réellement la généralisation. Avec le Open Axis Benchmark, la même boucle qui permet d’entraîner les robots alimente aussi la façon dont ils sont évalués.
Soumettez votre modèle : openroboto.ai
Docs : openroboto.ai/#/docs
Avertissement : ce contenu inclut des opinions de tiers. Il ne constitue pas un conseil. Binance Ai peut être utilisée, sans garantie de résultat. Consultez les CG.