openrobotics

Memperkenalkan Open #axis Benchmark, mesin benchmark yang hidup untuk evaluasi jujur model manipulasi robot, dibangun bersama @openroboto . #OpenRobotics

Model robot berkembang lebih cepat setiap bulan, sementara sebagian besar benchmark tetap beku. Model mengalami overfit pada kumpulan tugas yang tetap, skor berhenti mencerminkan generalisasi yang sebenarnya, dan sinyal yang terdistorsi itu menyesatkan serta menghambat evolusi model.

Open Axis Benchmark bukan sekadar lebih besar. Benchmark ini memungkinkan evaluasi agar terus mengikuti perkembangan model: setiap putaran mengunci kumpulan tugas baru yang diambil dari Axis Library yang terus bertambah, sehingga model membuktikan bahwa mereka bisa menggeneralisasi—bukan hanya menghafal—saat menghadapi pengujian.

Axis menyediakan mesin data yang menjadi dasarnya, secara berkelanjutan menghasilkan tugas dalam skala dan keberagaman yang diperlukan untuk benar-benar menguji generalisasi. Dengan Open Axis Benchmark, loop berulang yang sama yang melatih robot juga menjadi tenaga penggerak bagaimana robot dievaluasi.

Kirimkan model Anda: openroboto.ai
Dokumentasi: openroboto.ai/#/docs