Axis Robotics

Обновление продукта 🛠️

Мы сократили количество открытых слотов для задач. Вот почему.

1️⃣ Теперь GPT-6 может решать простые задачи и создавать для них надёжные траектории. По мере развития мы будем и дальше сокращать объём повторяющейся работы по сбору данных.
2️⃣ Высококачественные демонстрации от людей по-прежнему необходимы https://t.co/nCXR4P1m4J

Обновление продукта 🛠️

Мы сократили количество свободных слотов для задач. Вот почему.

1️⃣ Теперь GPT-6 может решать простые задачи и строить для них надёжные траектории.
2️⃣ Высококачественные демонстрации от людей по-прежнему необходимы для сложных задач. Такие демонстрации имеют гораздо большую ценность, чем https://t.co/UuTVBuIGQz

7/7 Ссылки

Изучите AXIS-Bench и другие наши ресурсы с данными:

Ресурсы проекта:
Страница проекта: https://t.co/9pvWoFdRzu
Статья: https://t.co/6Irf55g2d5
Код: https://t.co/ONkJ4k41qL
Попробуйте Axis Hub: https://t.co/brRVGQrYVQ

Наборы данных:
Набор данных Axis V2: https://t.co/se54ZroQe4 https://t.co/BdFhBbhaxj

6/7 Выпуск данных

Axis Dataset V1 был запущен в августе. С тех пор мы создали Dataset V2, который теперь охватывает 1 092 задачи и 2,35 млн эпизодов (включая аугментацию данных с камер). Все дополнительные датасеты, используемые в AXIS-Bench, отобраны из пула V2:

• Датасет для предобучения. 5 000 симулированных https://t.co/U7FM0ja7T3

5/7 От симуляции к реальности

AXIS-Bench также включает эталонный рабочий процесс и базовый метод для экспериментов в реальном мире: совместите камеры и рабочую область в симуляции с реальными, повторно визуализируйте записанные демонстрации и дообучите модель на небольшом наборе реальных демонстраций.

На Franka FR3, предварительное обучение обычной BC на https://t.co/RJGbCqqnNA

4/7 Ключевые выводы

• Важно, как используется качество. Обусловливание эпизода с учетом подхода повышает средний успех по сравнению с обычным поведенческим клонированием (BC) во всех трех VLA: средний относительный прирост составляет +3,9%, +23,4% и +5,6% по трем случайным начальным значениям обучения (π₀.₅, SmolVLA, X-VLA).

• Детализация https://t.co/PWoi9hpmnt

3/7 Настройка эксперимента

Мы сравниваем три подхода с учётом качества: взвешивание, фильтрацию и кондиционирование — для двух определений вознаграждения (ориентированного на объект и учитывающего подход), а также двух уровней детализации меток (эпизод и фрагмент действий).

В контролируемом исследовании используются 5 000 симуляций https://t.co/ATyOleyayw

2/7 Идея

В демонстрациях действий человека часто встречаются колебания, отклонения от курса и неравномерный прогресс. Но должен ли VLA отбрасывать неоптимальные фрагменты, придавать им меньший вес или учиться учитывать их качество?

AXIS-Bench основан на краудсорсинговых демонстрациях в симуляции с записью объектов и https://t.co/LjrXBsIkl8

Как VLA должны учиться на естественно неоптимальных демонстрациях роботов?

Представляем AXIS-Bench: «Что важно при предобучении VLA с учётом качества» — бенчмарк и эмпирическое исследование того, как следует определять и размечать качество демонстраций и как использовать его при предобучении.

На примере трёх VLA https://t.co/0h0qloxBEL