وقعت على إعلان @OpenLedger عن OpenLoRA وعلقت على رقم واحد. المشروع يتحدث عن الآلاف من النماذج المُعدلة على وحدة معالجة الرسوميات الواحدة وتوفير يصل إلى 90% في تكاليف النشر.
الفكرة هنا تبدو منطقية. لقد تم استخدام LoRA منذ فترة طويلة لتدريب النماذج دون تغيير الهيكل الوزني بالكامل. بدلاً من النماذج الثقيلة المنفصلة، يتم إنشاء ملحقات خفيفة يمكن توصيلها فوق النموذج الأساسي. لذلك، من الممكن تمامًا الاحتفاظ بالعديد من هذه الملحقات على وحدة معالجة الرسوميات الواحدة.
لكن من المهم هنا الفصل بين شيئين.
الأول - الآلية نفسها. إنها مفهومة وتبدو تقنية بشكل طبيعي.
الثاني - الرقم المحدد “حتى 90% توفير”. وهنا لدي تساؤل. لم أجد اختبارات مستقلة أو معايير مفتوحة تؤكد هذه النتيجة بالذات.
لأن الفرق بين “يمكن أن يوفر حتى 90%” و“يوفر باستمرار 90%” كبير جدًا.
ومن المثير سماع من عمل بالفعل مع استنتاج LLM: عندما ترى أرقامًا مماثلة، هل تعتبرها حجة أم تنتظر تحققًا مستقلًا؟
@OpenLedger #OpenLedger $OPEN
الفكرة هنا تبدو منطقية. لقد تم استخدام LoRA منذ فترة طويلة لتدريب النماذج دون تغيير الهيكل الوزني بالكامل. بدلاً من النماذج الثقيلة المنفصلة، يتم إنشاء ملحقات خفيفة يمكن توصيلها فوق النموذج الأساسي. لذلك، من الممكن تمامًا الاحتفاظ بالعديد من هذه الملحقات على وحدة معالجة الرسوميات الواحدة.
لكن من المهم هنا الفصل بين شيئين.
الأول - الآلية نفسها. إنها مفهومة وتبدو تقنية بشكل طبيعي.
الثاني - الرقم المحدد “حتى 90% توفير”. وهنا لدي تساؤل. لم أجد اختبارات مستقلة أو معايير مفتوحة تؤكد هذه النتيجة بالذات.
لأن الفرق بين “يمكن أن يوفر حتى 90%” و“يوفر باستمرار 90%” كبير جدًا.
ومن المثير سماع من عمل بالفعل مع استنتاج LLM: عندما ترى أرقامًا مماثلة، هل تعتبرها حجة أم تنتظر تحققًا مستقلًا؟
@OpenLedger #OpenLedger $OPEN