openrobotics

Présentation du Benchmark Open #axis , un moteur de benchmark vivant pour une évaluation honnête des modèles de manipulation robotique, construit avec @openroboto . #OpenRobotics

Les modèles robotiques évoluent plus vite chaque mois, tandis que la plupart des benchmarks restent figés. Les modèles s’adaptent trop à des ensembles de tâches fixes : les scores cessent de refléter la généralisation réelle, et ce signal déformé trompe et freine l’évolution des modèles.

Le Open Axis Benchmark ne fait pas que grandir. Il permet aussi à l’évaluation de suivre le rythme des modèles : chaque session verrouille un nouvel ensemble de tâches tiré de la bibliothèque Axis en expansion, afin que les modèles prouvent leur capacité à généraliser plutôt que de mémoriser le test.

Axis fournit le moteur de données qui le sous-tend, en produisant en continu des tâches à l’échelle et avec la diversité nécessaires pour tester réellement la généralisation. Avec le Open Axis Benchmark, la même boucle qui permet d’entraîner les robots alimente aussi la façon dont ils sont évalués.

Soumettez votre modèle : openroboto.ai
Docs : openroboto.ai/#/docs