Presentamos el Open #axis Benchmark, un motor de benchmark vivo para una evaluación honesta de modelos de manipulación robótica, construido junto con @openroboto . #OpenRobotics

Los modelos robóticos evolucionan más rápido cada mes, mientras que la mayoría de los benchmarks se mantienen congelados. Los modelos se ajustan en exceso a conjuntos de tareas fijas, las puntuaciones dejan de reflejar la generalización real y esa señal distorsionada engaña y frena la evolución de los modelos.

Open Axis Benchmark no es solo más grande. Permite que la propia evaluación vaya al ritmo de los modelos: cada ronda bloquea un conjunto de tareas nuevo extraído de la creciente Axis Library, de modo que los modelos demuestren que pueden generalizar en lugar de memorizar la prueba.

Axis proporciona el motor de datos detrás de todo ello, generando continuamente tareas con la escala y la diversidad necesarias para poner a prueba de verdad la generalización. Con Open Axis Benchmark, el mismo bucle de mejora continua que entrena robots también impulsa la forma en que se les evalúa.

Envía tu modelo: openroboto.ai
Docs: openroboto.ai/#/docs