Mientras un robot planea su siguiente paso, el café puede seguir sirviéndose.
La descripción de Gemini Robotics ER 2 que Google publicó el 30 de julio presenta esas dos actividades en paralelo. El modelo de razonamiento observa un video y planifica el trabajo, mientras que un modelo de acción independiente se encarga del movimiento físico. Este diseño permite que el robot siga pensando mientras realiza una acción, en lugar de detenerse cada vez que necesita decidir qué hacer a continuación.
Servir café permite imaginar fácilmente cómo funciona ese sistema. El movimiento debe continuar mientras se llena la taza y luego detenerse en el momento adecuado. Google utiliza precisamente ese instante de detención como ejemplo de un evento que el modelo de razonamiento debe localizar en el video. El mismo movimiento continuo que le da algo que observar también sigue cambiando la escena que está evaluando.
Para este vertido, una medición útil seguiría toda la acción: cuándo el modelo reconoce el instante de detención, cuándo el controlador actúa en consecuencia y cuándo se detiene realmente el chorro. La prueba de video de Google aborda la localización del evento en la grabación, no la medición del tiempo de toda la secuencia. Observar cómo se detiene el chorro permitiría ver cómo ese juicio se traduce en movimiento.
Fuente: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Imagen: ilustración editorial generada con IA; no representa un robot de Google ni una prueba grabada.
La descripción de Gemini Robotics ER 2 que Google publicó el 30 de julio presenta esas dos actividades en paralelo. El modelo de razonamiento observa un video y planifica el trabajo, mientras que un modelo de acción independiente se encarga del movimiento físico. Este diseño permite que el robot siga pensando mientras realiza una acción, en lugar de detenerse cada vez que necesita decidir qué hacer a continuación.
Servir café permite imaginar fácilmente cómo funciona ese sistema. El movimiento debe continuar mientras se llena la taza y luego detenerse en el momento adecuado. Google utiliza precisamente ese instante de detención como ejemplo de un evento que el modelo de razonamiento debe localizar en el video. El mismo movimiento continuo que le da algo que observar también sigue cambiando la escena que está evaluando.
Para este vertido, una medición útil seguiría toda la acción: cuándo el modelo reconoce el instante de detención, cuándo el controlador actúa en consecuencia y cuándo se detiene realmente el chorro. La prueba de video de Google aborda la localización del evento en la grabación, no la medición del tiempo de toda la secuencia. Observar cómo se detiene el chorro permitiría ver cómo ese juicio se traduce en movimiento.
Fuente: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Imagen: ilustración editorial generada con IA; no representa un robot de Google ni una prueba grabada.