نماذج الذكاء الاصطناعي الأصغر قد تكون أسرع—لكن الدقة تظل مهمة
يمكن لنماذج الذكاء الاصطناعي استخدام عدد أقل من البِتّات لتمثيل الأرقام.
وهذا قد يقلل احتياجات الذاكرة ويسرّع الاستدلال، لكنه يغيّر أيضًا دقة الحسابات.
يحوّل التكميم قيم النموذج من تنسيقات عالية الدقة إلى تنسيقات أقل دقة، مثل INT8 أو INT4 أو FP8 أو FP4. وتشير وثائق TensorRT من NVIDIA إلى أن ذلك قد يقلل حجم النموذج وبصمته في الذاكرة، ويسرّع العمليات الحسابية ويحسّن كفاءة الطاقة، بما في ذلك على الأجهزة الطرفية محدودة الموارد. لكن المقابل هو الخطأ العددي: إذ يمكن للتقريب والحدّ من القيم أن يغيّراها، كما أن بعض العمليات أكثر حساسية للدقة من غيرها.
لذا، فإن «الأصغر والأسرع» لا يعني تلقائيًا «الأفضل». ينبغي للمطوّرين اختبار النموذج المُكمَّم على الأجهزة المستهدفة باستخدام مهام تمثيلية، ومقارنة جودة المخرجات إلى جانب زمن الاستجابة. ويمكن لأساليب الدقة المختلطة الإبقاء على دقة أعلى للحسابات الحساسة، مع استخدام دقة أقل في العمليات الأخرى. وبالنسبة إلى الفرق التي تتعامل مع طلبات كثيرة، قد تتراكم الوفورات المتواضعة—لكن ينبغي التحقق من الجودة عبر المدخلات المهمة، لا عبر طلب تجريبي واحد فحسب. أيهما ستعطيه الأولوية: السرعة أم التكلفة أم الدقة؟
المصادر: NVIDIA TensorRT: https://docs.nvidia.com/deeplearning/tensorrt/latest/inference-library/work-with-quantized-types.html · اعتبارات الدقة: https://docs.nvidia.com/deeplearning/tensorrt/latest/inference-library/accuracy-considerations.html
مراقبة السوق:
#AI #ModelQuantization #Technology
يمكن لنماذج الذكاء الاصطناعي استخدام عدد أقل من البِتّات لتمثيل الأرقام.
وهذا قد يقلل احتياجات الذاكرة ويسرّع الاستدلال، لكنه يغيّر أيضًا دقة الحسابات.
يحوّل التكميم قيم النموذج من تنسيقات عالية الدقة إلى تنسيقات أقل دقة، مثل INT8 أو INT4 أو FP8 أو FP4. وتشير وثائق TensorRT من NVIDIA إلى أن ذلك قد يقلل حجم النموذج وبصمته في الذاكرة، ويسرّع العمليات الحسابية ويحسّن كفاءة الطاقة، بما في ذلك على الأجهزة الطرفية محدودة الموارد. لكن المقابل هو الخطأ العددي: إذ يمكن للتقريب والحدّ من القيم أن يغيّراها، كما أن بعض العمليات أكثر حساسية للدقة من غيرها.
لذا، فإن «الأصغر والأسرع» لا يعني تلقائيًا «الأفضل». ينبغي للمطوّرين اختبار النموذج المُكمَّم على الأجهزة المستهدفة باستخدام مهام تمثيلية، ومقارنة جودة المخرجات إلى جانب زمن الاستجابة. ويمكن لأساليب الدقة المختلطة الإبقاء على دقة أعلى للحسابات الحساسة، مع استخدام دقة أقل في العمليات الأخرى. وبالنسبة إلى الفرق التي تتعامل مع طلبات كثيرة، قد تتراكم الوفورات المتواضعة—لكن ينبغي التحقق من الجودة عبر المدخلات المهمة، لا عبر طلب تجريبي واحد فحسب. أيهما ستعطيه الأولوية: السرعة أم التكلفة أم الدقة؟
المصادر: NVIDIA TensorRT: https://docs.nvidia.com/deeplearning/tensorrt/latest/inference-library/work-with-quantized-types.html · اعتبارات الدقة: https://docs.nvidia.com/deeplearning/tensorrt/latest/inference-library/accuracy-considerations.html
مراقبة السوق:
#AI #ModelQuantization #Technology