تهدر وحدات المعالجة المركزية الحديثة معظم دورات المعالجة في الانتظار، لأن عرض نطاق الذاكرة لا يواكب القدرة الحسابية. فاختناق فون نيومان حقيقي: وحدات الحساب على جانب من ناقل ضيق، وذاكرة DRAM على الجانب الآخر، لذا تدفع كل عملية كلفة زمن الاستجابة ذهابًا وإيابًا.
تنقل المعالجة داخل الذاكرة (PIM) أنوية الحوسبة مباشرةً إلى شرائح DRAM. وتبرهن الشرائح التجارية من UPMEM على ذلك: فعندما تعالج ملايين الصفوف في قاعدة بيانات أو وحدات البكسل في صورة داخل مصفوفة الذاكرة نفسها، لا تعبر البيانات الناقل. لا تستفيد أحمال العمل المقيمة في ذاكرة التخزين المؤقت، لكن بمجرد أن تتجاوز مجموعة بياناتك سعة الذاكرة الرئيسية، تتفوق PIM بفارق كبير على وحدات المعالجة المركزية ووحدات معالجة الرسومات التقليدية في نوى المعالجة المقيّدة بعرض نطاق الذاكرة.
تقلب معماريات تدفق البيانات المعادلة بالكامل. فبدلًا من حلقات الجلب وفك الترميز والتنفيذ، تتدفق البيانات عبر شبكة من عقد المعالجة البسيطة. تحميل مرة واحدة، وإجراء عمليات حسابية متعددة أثناء تدفق البيانات، ثم تخزين مرة واحدة. وهذا مثالي لعمليات المصفوفات والموترات الكثيفة في تدريب تعلم الآلة، لأن النتائج الوسيطة تبقى على الشريحة. وهكذا ينخفض نقل البيانات انخفاضًا هائلًا.
تدمج الرقائق العصبية الشكل، مثل Intel Loihi، التخزين والحوسبة على مستوى الدارة، محاكيةً المشابك العصبية البيولوجية. ويحتفظ كل نواة غير متزامنة ذات نبضات بأوزانه الخاصة، ويتواصل مباشرةً مع الأنوية المجاورة عبر أحداث النبضات. ويتوسع Hala Point ليضم أكثر من مليار عصبون، ويحقق عرض نطاق داخليًا يبلغ بيتابايتًا في الثانية، ويستهلك بضعة كيلوواطات فقط، ويُظهر كفاءة طاقية أعلى بنحو 100 مرة مقارنةً بوحدات معالجة الرسومات في مهام التحسين المتناثر وبعض مهام الاستدلال.
المفاضلات: تعمل أنوية PIM بترددات أقل من وحدات المعالجة المركزية، وتحتاج إلى أحمال عمل متوازية على نحو محرج. وتتعثر شبكات تدفق البيانات عند تدفق التحكم غير المنتظم. أما سلاسل أدوات الحوسبة العصبية الشكل فما تزال غير ناضجة ومحدودة النطاق. لكن التقنيات الثلاث تشترك في فكرة واحدة: الناقل هو العدو. ضع الحوسبة والذاكرة جنبًا إلى جنب على الشريحة نفسها، وستختفي دورات الانتظار.
تنقل المعالجة داخل الذاكرة (PIM) أنوية الحوسبة مباشرةً إلى شرائح DRAM. وتبرهن الشرائح التجارية من UPMEM على ذلك: فعندما تعالج ملايين الصفوف في قاعدة بيانات أو وحدات البكسل في صورة داخل مصفوفة الذاكرة نفسها، لا تعبر البيانات الناقل. لا تستفيد أحمال العمل المقيمة في ذاكرة التخزين المؤقت، لكن بمجرد أن تتجاوز مجموعة بياناتك سعة الذاكرة الرئيسية، تتفوق PIM بفارق كبير على وحدات المعالجة المركزية ووحدات معالجة الرسومات التقليدية في نوى المعالجة المقيّدة بعرض نطاق الذاكرة.
تقلب معماريات تدفق البيانات المعادلة بالكامل. فبدلًا من حلقات الجلب وفك الترميز والتنفيذ، تتدفق البيانات عبر شبكة من عقد المعالجة البسيطة. تحميل مرة واحدة، وإجراء عمليات حسابية متعددة أثناء تدفق البيانات، ثم تخزين مرة واحدة. وهذا مثالي لعمليات المصفوفات والموترات الكثيفة في تدريب تعلم الآلة، لأن النتائج الوسيطة تبقى على الشريحة. وهكذا ينخفض نقل البيانات انخفاضًا هائلًا.
تدمج الرقائق العصبية الشكل، مثل Intel Loihi، التخزين والحوسبة على مستوى الدارة، محاكيةً المشابك العصبية البيولوجية. ويحتفظ كل نواة غير متزامنة ذات نبضات بأوزانه الخاصة، ويتواصل مباشرةً مع الأنوية المجاورة عبر أحداث النبضات. ويتوسع Hala Point ليضم أكثر من مليار عصبون، ويحقق عرض نطاق داخليًا يبلغ بيتابايتًا في الثانية، ويستهلك بضعة كيلوواطات فقط، ويُظهر كفاءة طاقية أعلى بنحو 100 مرة مقارنةً بوحدات معالجة الرسومات في مهام التحسين المتناثر وبعض مهام الاستدلال.
المفاضلات: تعمل أنوية PIM بترددات أقل من وحدات المعالجة المركزية، وتحتاج إلى أحمال عمل متوازية على نحو محرج. وتتعثر شبكات تدفق البيانات عند تدفق التحكم غير المنتظم. أما سلاسل أدوات الحوسبة العصبية الشكل فما تزال غير ناضجة ومحدودة النطاق. لكن التقنيات الثلاث تشترك في فكرة واحدة: الناقل هو العدو. ضع الحوسبة والذاكرة جنبًا إلى جنب على الشريحة نفسها، وستختفي دورات الانتظار.