#OpenLedger ممكن أسألك عن موضوع مهم في OpenLoRA من @OpenLedger : كيف نقدر نشغل آلاف نماذج الذكاء الاصطناعي على GPU واحد فعليًا، مو بس نكتب الكلام الحلو في البريزنتيشن؟
في الوضع الكلاسيكي، الأمور بسيطة: النموذج يشغل ذاكرة كرت الشاشة. كلما زادت النماذج، زادت GPUs. في نطاق كبير، هالشي يتحول بسرعة لتكاليف ضخمة.
LoRA تتعامل مع الموضوع بطريقة مختلفة. بدل ما تنشئ نموذج جديد بالكامل، تضيف ملحق بسيط للنموذج الأساسي. يعني مئات النسخ المعدلة ممكن يكون لها نفس الأساس، وتختلف فقط بمجموعة صغيرة من المعلمات.
OpenLoRA تروح أبعد من كذا: النموذج الأساسي يكون دائمًا نشط، والملحقات المطلوبة تتصل بس عند الطلب. إذا استدعينا تخصص واحد — الملحق ينزل، يشتغل ويحرر المساحة.
مع الكوانتيزايشن وتحسين الذاكرة، هذا يساعد على تقليل الحمل على GPU.
الفكرة نفسها مو سحر ولا خدعة فريدة — هالتوجه تم البحث فيه من زمان في بنية الذكاء الاصطناعي. السؤال هو: هل يقدر OpenLedger يثبت هالشي على نطاق حقيقي.
وش رايك، آلاف الملحقات على GPU واحد — هل راح تكون معيار المستقبل أو مجرد رقم حلو في الاختبارات؟
@OpenLedger #OpenLedger $OPEN
في الوضع الكلاسيكي، الأمور بسيطة: النموذج يشغل ذاكرة كرت الشاشة. كلما زادت النماذج، زادت GPUs. في نطاق كبير، هالشي يتحول بسرعة لتكاليف ضخمة.
LoRA تتعامل مع الموضوع بطريقة مختلفة. بدل ما تنشئ نموذج جديد بالكامل، تضيف ملحق بسيط للنموذج الأساسي. يعني مئات النسخ المعدلة ممكن يكون لها نفس الأساس، وتختلف فقط بمجموعة صغيرة من المعلمات.
OpenLoRA تروح أبعد من كذا: النموذج الأساسي يكون دائمًا نشط، والملحقات المطلوبة تتصل بس عند الطلب. إذا استدعينا تخصص واحد — الملحق ينزل، يشتغل ويحرر المساحة.
مع الكوانتيزايشن وتحسين الذاكرة، هذا يساعد على تقليل الحمل على GPU.
الفكرة نفسها مو سحر ولا خدعة فريدة — هالتوجه تم البحث فيه من زمان في بنية الذكاء الاصطناعي. السؤال هو: هل يقدر OpenLedger يثبت هالشي على نطاق حقيقي.
وش رايك، آلاف الملحقات على GPU واحد — هل راح تكون معيار المستقبل أو مجرد رقم حلو في الاختبارات؟
@OpenLedger #OpenLedger $OPEN