Пока робот планирует следующий шаг, кофе всё ещё может наливаться.
В описании Gemini Robotics ER 2 от 30 июля Google рассматривает эти два действия одновременно. Модель рассуждения анализирует видео и планирует работу, а отдельная модель действий отвечает за физические движения. Благодаря такой конструкции робот может продолжать думать во время действия, а не останавливаться каждый раз, когда ему нужно решить, что делать дальше.
На примере наливания кофе эту схему легко представить. Движение должно продолжаться, пока наполняется чашка, а затем завершиться в нужный момент. Google использует именно этот момент остановки как пример события, которое модель рассуждения должна обнаружить на видео. То же непрерывное движение, за которым она наблюдает, постоянно меняет сцену, которую ей нужно оценивать.
Для этого процесса полезно было бы измерить всё действие целиком: когда модель распознаёт момент остановки, когда контроллер реагирует на это решение и когда струя действительно прекращается. Видеотест Google посвящён обнаружению события в кадрах, а не измерению длительности всей этой последовательности. Наблюдение за тем, как прекращается струя, показало бы, как это решение воплощается в движении.
Источник: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Изображение: созданная ИИ редакционная иллюстрация, а не робот Google и не запись испытания.
В описании Gemini Robotics ER 2 от 30 июля Google рассматривает эти два действия одновременно. Модель рассуждения анализирует видео и планирует работу, а отдельная модель действий отвечает за физические движения. Благодаря такой конструкции робот может продолжать думать во время действия, а не останавливаться каждый раз, когда ему нужно решить, что делать дальше.
На примере наливания кофе эту схему легко представить. Движение должно продолжаться, пока наполняется чашка, а затем завершиться в нужный момент. Google использует именно этот момент остановки как пример события, которое модель рассуждения должна обнаружить на видео. То же непрерывное движение, за которым она наблюдает, постоянно меняет сцену, которую ей нужно оценивать.
Для этого процесса полезно было бы измерить всё действие целиком: когда модель распознаёт момент остановки, когда контроллер реагирует на это решение и когда струя действительно прекращается. Видеотест Google посвящён обнаружению события в кадрах, а не измерению длительности всей этой последовательности. Наблюдение за тем, как прекращается струя, показало бы, как это решение воплощается в движении.
Источник: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Изображение: созданная ИИ редакционная иллюстрация, а не робот Google и не запись испытания.