openrobotics

Apresentamos o Open #axis Benchmark, um mecanismo de benchmark vivo para uma avaliação honesta de modelos de manipulação robótica, construído junto com @openroboto . #OpenRobotics

Os modelos robóticos evoluem mais rápido a cada mês, enquanto a maioria dos benchmarks permanece congelada. Os modelos se ajustam demais a conjuntos de tarefas fixos, as pontuações deixam de refletir a generalização real e esse sinal distorcido engana e impede a evolução dos modelos.

O Open Axis Benchmark não é apenas maior. Ele permite que a própria avaliação acompanhe a velocidade dos modelos: cada rodada fixa um novo conjunto de tarefas retirado da crescente Axis Library, para que os modelos provem que conseguem generalizar em vez de apenas memorizar o teste.

A Axis fornece o mecanismo de dados por trás disso, gerando continuamente tarefas na escala e com a diversidade necessárias para testar genuinamente a generalização. Com o Open Axis Benchmark, o mesmo ciclo de acumulação que treina robôs também impulsiona como eles são avaliados.

Envie seu modelo: openroboto.ai
Documentação: openroboto.ai/#/docs