بحث Nous Research يؤكد: يمكن لمحاكي البايتات النقية أن يحاكي مقسم الكلمات، عصر نماذج اللغة الكبيرة بدون تقسيم الكلمات قادم
نشرت Nous Research بحثًا يشير إلى أن المقسمات التي تعتمد عليها نماذج اللغة الكبيرة لفترة طويلة قد تُستبدل في المستقبل. من خلال إجراء اختبارات مُcontrolled بحجم 1.7 مليار معلمة، قام فريق البحث بتقييم نظامي لمزايا أداء آلية تقسيم الكلمات، مما يثبت جدوى مسار المحاكاة بالبايتات النقية.
لماذا هذا مهم: تقسيم الكلمات (Tokenization) هو الخطوة الأساسية التي تعتمد عليها نماذج كبيرة مثل GPT في معالجة النصوص، وإذا نجح النموذج الكبير بدون تقسيم الكلمات، فإن ذلك سيؤثر بشكل عميق على نماذج الذكاء الاصطناعي الحالية في تدريبها، وكفاءة استنتاجها، وقدرتها على التعامل مع لغات متعددة. تحقيق الفريق الصيني في هذا الاتجاه له دلالة كبيرة.
#NousResearch #AI #大模型 #分词 #开源