إن تحديد موضع التوازن بين السرعة واستهلاك الطاقة هو في جوهره قرار متعلق بالمنتج، قبل وقت طويل من تحوله إلى مسألة تتعلق بالبنية التحتية التقنية؛ وهذا يعني أن على الفرق مناقشته في مرحلة مبكرة جدًا من العملية. وفي مجال تشغيل النماذج، يوجد نطاق متدرج فعلي بين كفاءة الطاقة ووقت الاستجابة، ومع ذلك تترك الغالبية العظمى من الفرق هذا الإعداد دون أي تعديل على الإطلاق.

وفقًا لمقاييس الأداء، فإن توجيه عدد محدد من المطالبات إلى مجموعة أصغر من مثيلات النماذج سيؤدي حتمًا إلى إبطاء إرسال كل رد على حدة. لكن هذه الاستراتيجية، في الوقت نفسه، ترفع معدل الطلبات الفعلي وتقلل مقدار الطاقة المستهلكة لتوليد كل إجابة.

والآلية الكامنة وراء ذلك بسيطة. فعندما تستخدم تجميعًا أكبر، ينجز نظامك عملًا أكثر مقابل كل واط من الطاقة. وعلى العكس، إذا قللت مقدار التجميع، فسيقدم نظامك الإجابات بسرعة أكبر بكثير.