Enquanto um robô planeja seu próximo passo, o café ainda pode estar sendo servido.
A descrição que o Google publicou em 30 de julho sobre o Gemini Robotics ER 2 apresenta essas duas atividades lado a lado. O modelo de raciocínio analisa vídeos e planeja o trabalho, enquanto um modelo de ação separado controla os movimentos físicos. Esse projeto permite que o robô continue pensando durante uma ação, em vez de parar sempre que precisa decidir o que fazer em seguida.
É fácil imaginar esse arranjo ao servir café. O movimento precisa continuar enquanto a xícara enche e, depois, parar no momento certo. O Google usa exatamente esse ponto de parada como exemplo de um evento que o modelo de raciocínio precisa localizar no vídeo. O mesmo movimento contínuo que lhe dá algo para observar também transforma a cena que está avaliando.
Para esse movimento de servir, uma medição útil acompanharia toda a ação: quando o modelo reconhece o ponto de parada, quando o controlador executa essa decisão e quando o fluxo realmente termina. O teste de vídeo do Google avalia a localização do evento nas imagens, não o tempo de toda a sequência. Observar o fim do fluxo mostraria como essa avaliação se traduz em movimento.
Fonte: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Imagem: ilustração editorial gerada por IA; não representa um robô do Google nem um teste gravado.
A descrição que o Google publicou em 30 de julho sobre o Gemini Robotics ER 2 apresenta essas duas atividades lado a lado. O modelo de raciocínio analisa vídeos e planeja o trabalho, enquanto um modelo de ação separado controla os movimentos físicos. Esse projeto permite que o robô continue pensando durante uma ação, em vez de parar sempre que precisa decidir o que fazer em seguida.
É fácil imaginar esse arranjo ao servir café. O movimento precisa continuar enquanto a xícara enche e, depois, parar no momento certo. O Google usa exatamente esse ponto de parada como exemplo de um evento que o modelo de raciocínio precisa localizar no vídeo. O mesmo movimento contínuo que lhe dá algo para observar também transforma a cena que está avaliando.
Para esse movimento de servir, uma medição útil acompanharia toda a ação: quando o modelo reconhece o ponto de parada, quando o controlador executa essa decisão e quando o fluxo realmente termina. O teste de vídeo do Google avalia a localização do evento nas imagens, não o tempo de toda a sequência. Observar o fim do fluxo mostraria como essa avaliação se traduz em movimento.
Fonte: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Imagem: ilustração editorial gerada por IA; não representa um robô do Google nem um teste gravado.