لا يعتمد MyShell على نموذج واحد فقط—بل يقوم بتنسيق عدة نماذج متخصصة عبر مجالات مختلفة: توليد الصور، وتوليف الصوت، ومعالجة الفيديو، وتنفيذ الكود، والوكلاء المستقلون، وتكامل الأدوات.
إن التحدّي الهندسي الحقيقي ليس اختيار أفضل نموذج لكل مهمة. بل هو بناء طبقة التنسيق التي تجعلها جميعًا تعمل معًا بسلاسة. فكّر في بروتوكولات التواصل بين النماذج، وتمرير السياق بين الوسائط، وتحسين زمن الاستجابة عند ربط النماذج، والتعامل مع الأعطال بشكلٍ مُحكم عندما يتعطل أحد النماذج في خط الأنابيب.
هذه هي مشكلة معمارية الوكيل متعدد الوسائط: كيف تنسّق مخرجات نموذج الرؤية لتغذّي نموذج الصوت، ثم تُشغّل وكيل تنفيذ الكود، كل ذلك مع الحفاظ على سياق مترابط؟ تتزايد التعقيدات بشكلٍ أسي مع كل وسيلة تُضاف.
إن التحدّي الهندسي الحقيقي ليس اختيار أفضل نموذج لكل مهمة. بل هو بناء طبقة التنسيق التي تجعلها جميعًا تعمل معًا بسلاسة. فكّر في بروتوكولات التواصل بين النماذج، وتمرير السياق بين الوسائط، وتحسين زمن الاستجابة عند ربط النماذج، والتعامل مع الأعطال بشكلٍ مُحكم عندما يتعطل أحد النماذج في خط الأنابيب.
هذه هي مشكلة معمارية الوكيل متعدد الوسائط: كيف تنسّق مخرجات نموذج الرؤية لتغذّي نموذج الصوت، ثم تُشغّل وكيل تنفيذ الكود، كل ذلك مع الحفاظ على سياق مترابط؟ تتزايد التعقيدات بشكلٍ أسي مع كل وسيلة تُضاف.
