بينما يخطط الروبوت لخطوته التالية، قد يستمر صبّ القهوة.
يضع وصف Google الصادر في 30 يوليو لنموذج Gemini Robotics ER 2 هذين النشاطين جنبًا إلى جنب. يراقب نموذج الاستدلال الفيديو ويخطط للعمل، بينما يتولى نموذج منفصل للتحكم بالحركة تنفيذ الحركات الجسدية. يتيح هذا التصميم للروبوت مواصلة التفكير أثناء تنفيذ الحركة، بدلًا من التوقف كلما احتاج إلى تحديد ما عليه فعله بعد ذلك.
يجعل صبّ القهوة هذا الترتيب سهل التصور. يجب أن تستمر الحركة أثناء امتلاء الفنجان، ثم تنتهي في اللحظة المناسبة. وتستخدم Google نقطة التوقف هذه تحديدًا مثالًا على حدث يجب على نموذج الاستدلال تحديده في الفيديو. فالحركة المستمرة نفسها، التي تمنحه شيئًا يراقبه، تواصل أيضًا تغيير المشهد الذي يقيّمه.
في عملية الصب هذه، ينبغي للقياس المفيد أن يتتبع الإجراء بأكمله: متى يتعرف النموذج على نقطة التوقف، ومتى يستجيب المتحكم لها، ومتى يتوقف تدفق القهوة فعليًا. يختبر الفيديو الذي تستخدمه Google قدرة النموذج على تحديد الحدث في اللقطات، لا توقيت هذا التسلسل بأكمله. وستُظهر مراقبة توقف تدفق القهوة كيف ينعكس هذا التقدير على الحركة.
المصدر: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
الصورة: رسم توضيحي تحريري مولّد بالذكاء الاصطناعي، وليس روبوتًا من Google أو اختبارًا مسجلًا.
يضع وصف Google الصادر في 30 يوليو لنموذج Gemini Robotics ER 2 هذين النشاطين جنبًا إلى جنب. يراقب نموذج الاستدلال الفيديو ويخطط للعمل، بينما يتولى نموذج منفصل للتحكم بالحركة تنفيذ الحركات الجسدية. يتيح هذا التصميم للروبوت مواصلة التفكير أثناء تنفيذ الحركة، بدلًا من التوقف كلما احتاج إلى تحديد ما عليه فعله بعد ذلك.
يجعل صبّ القهوة هذا الترتيب سهل التصور. يجب أن تستمر الحركة أثناء امتلاء الفنجان، ثم تنتهي في اللحظة المناسبة. وتستخدم Google نقطة التوقف هذه تحديدًا مثالًا على حدث يجب على نموذج الاستدلال تحديده في الفيديو. فالحركة المستمرة نفسها، التي تمنحه شيئًا يراقبه، تواصل أيضًا تغيير المشهد الذي يقيّمه.
في عملية الصب هذه، ينبغي للقياس المفيد أن يتتبع الإجراء بأكمله: متى يتعرف النموذج على نقطة التوقف، ومتى يستجيب المتحكم لها، ومتى يتوقف تدفق القهوة فعليًا. يختبر الفيديو الذي تستخدمه Google قدرة النموذج على تحديد الحدث في اللقطات، لا توقيت هذا التسلسل بأكمله. وستُظهر مراقبة توقف تدفق القهوة كيف ينعكس هذا التقدير على الحركة.
المصدر: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
الصورة: رسم توضيحي تحريري مولّد بالذكاء الاصطناعي، وليس روبوتًا من Google أو اختبارًا مسجلًا.