Das Open #axis Benchmark vorstellen – eine lebendige Benchmark-Engine für eine ehrliche Bewertung von Robotik-Manipulationsmodellen, gemeinsam mit @openroboto entwickelt. #OpenRobotics

Roboter-Modelle entwickeln sich jeden Monat schneller weiter, während die meisten Benchmarks eingefroren bleiben. Modelle überpassen sich an feste Aufgabensets, Scores spiegeln keine echte Generalisierung mehr wider, und dieses verzerrte Signal täuscht und bremst die Weiterentwicklung von Modellen.

Der Open Axis Benchmark ist nicht nur größer. Er ermöglicht, dass sich auch die Evaluation im gleichen Tempo wie die Modelle weiterentwickelt: Jede Runde sperrt ein frisches Aufgabenset, das aus der wachsenden Axis Library gezogen wird, sodass Modelle beweisen, dass sie generalisieren können – statt den Test nur zu memorieren.

Axis liefert die Daten-Engine dafür und erzeugt kontinuierlich Aufgaben im Maßstab und mit der Vielfalt, die nötig sind, um Generalisierung wirklich zu testen. Mit dem Open Axis Benchmark sorgt dieselbe aufeinander aufbauende Schleife, die Roboter trainiert, auch dafür, wie sie bewertet werden.

Sende dein Modell ein: openroboto.ai
Dokumentation: openroboto.ai/#/docs