openrobotics

Giới thiệu Open #axis Benchmark, một động cơ benchmark sống để đánh giá trung thực các mô hình thao tác robot, được xây dựng cùng với @openroboto . #OpenRobotics

Các mô hình robot phát triển nhanh hơn mỗi tháng, trong khi hầu hết các benchmark vẫn bị “đóng băng”. Các mô hình có xu hướng overfit vào các bộ tác vụ cố định, điểm số không còn phản ánh đúng khả năng tổng quát hóa thực sự, và tín hiệu bị méo mó đó làm sai lệch cũng như kìm hãm sự phát triển của mô hình.

Open Axis Benchmark không chỉ “lớn hơn”. Nó cho phép chính việc đánh giá bắt kịp với các mô hình: mỗi vòng sẽ khóa một tập tác vụ mới được rút ra từ Axis Library đang ngày càng mở rộng, để chứng minh rằng mô hình có thể tổng quát hóa thay vì chỉ ghi nhớ bài kiểm tra.

Axis cung cấp “động cơ dữ liệu” đằng sau nó, liên tục tạo ra các tác vụ với quy mô và sự đa dạng cần thiết để kiểm tra tổng quát hóa một cách thực chất. Với Open Axis Benchmark, cùng một vòng lặp tạo đà đang được dùng để huấn luyện robot cũng là thứ vận hành cách chúng được đánh giá.

Gửi mô hình của bạn: openroboto.ai
Tài liệu: openroboto.ai/#/docs