أجرى باحث الذكاء الاصطناعي أران كوماتسوزاكي مؤخرًا تقييمًا عبر اللغات لأدوات تقسيم الكلمات (Tokenizer) الخاصة بالنماذج الكبرى، ونتائج التقييم أظهرت أن نموذج Claude المملوك لشركة Anthropic يعاني من كفاءة منخفضة عند التعامل مع اللغة الصينية، حيث أن المستخدمين يدفعون نفس التكلفة ولكن المحتوى المعالج أقل بكثير مقارنة بالنماذج الأخرى، وقد أطلق المجتمع على هذه الظاهرة اسم "ضريبة اللغة الصينية".

كفاءة تقسيم الكلمات عبر اللغات

اعتمد الباحثون على ورقة بحثية معروفة في مجال الذكاء الاصطناعي (الدرس المرير) كعينة معيارية، وبعد ترجمتها إلى تسع لغات، تم إدخالها في أدوات تقسيم الكلمات لستة نماذج: OpenAI وGemini وQwen وDeepSeek وKimi وClaude.

اعتمدت التجربة «عدد الـ Token في النص الإنجليزي الأصلي على أداة تقسيم OpenAI» كمرجع أساسي بمقدار 1x. وتُظهر البيانات أنه عند معالجة المحتوى الصيني نفسه، كانت الفروقات بين النماذج كبيرة جدًا.

لا يستهلك نموذج اللغة الصيني Kimi سوى 0.81x من خط الأساس في عدد الـ Token، بينما يبلغ Qwen 0.85x. وهذا يعني أن كفاءة ضغط الصينية في هذه النماذج تتجاوز حتى الإنجليزية.

أما OpenAI فكانت أداؤها مقبولًا؛ إذ بلغ استهلاك الـ Token في الصينية 1.15x من خط الأساس، ما يعكس وجود قدر من التحسين للغات الأجنبية الشائعة في مُجزِّئها. لكن الأسوأ في معالجة الصينية كان Claude، إذ وصل الاستهلاك إلى 1.65x من خط الأساس، أي أكثر من OpenAI بنسبة 50%، بل وأعلى من Kimi بمرتين. وفي اللغة الهندية (Hindi)، تجاوز استهلاك Claude ثلاثة أضعاف خط الأساس.

متابعة بشأن عدم كفاءة الـ token في اللغات غير الإنجليزية مع المزيد من أزواج النموذج-اللغة: – الصينية أرخص من الإنجليزية في النماذج الصينية الرئيسية – Gemini وQwen يقدمان أقل ضريبة للغات غير الإنجليزية – Anthropic هي الأعلى ضريبة بفارق كبير؛ ثم Kimi – الهندية هي أسوأ لغة مغطاة هنا،… https://t.co/imeRUrzwjD pic.twitter.com/DEM84FmHoV

— Aran Komatsuzaki (@arankomatsuzaki) 28 أبريل 2026

لماذا تكون الصينية نفسها أغلى على Claude؟

يكمن أصل هذه الفجوة في استراتيجية تدريب «المُجزِّئ اللغوي» (Tokenizer). فالمُجزِّئ هو أول بوابة يفهم من خلالها نموذج الذكاء الاصطناعي النص، وهو مسؤول عن تقسيمه إلى وحدات Token.

يخلص Aran إلى أن: «كلما كبر سوقك، قلّ عدد الـ Token التي تستهلكها.» وتعتمد كفاءة المُجزِّئ اللغوي بدرجة كبيرة على نسبة كل لغة في بيانات التدريب. فقد أدخلت النماذج المحلية مثل Kimi وQwen كميات هائلة من النصوص الصينية ضمن التدريب، لذا يتمكن مُجزِّئها من «تعبئة» تراكيب الكلمات الصينية بكفاءة؛ أما Anthropic فكانت بياناتها المبكرة منحازة بشدة إلى الإنجليزية، ما جعل مُجزِّئها عند التعامل مع الصينية يلجأ إلى استراتيجية «القطع المتناثر»، فتُقسَّم الجملة الواحدة إلى أجزاء أكثر، وبالتالي يرتفع إجمالي عدد الـ Token.

الأثر الفعلي للخسارة التي يواجهها المستخدم

ضعف كفاءة التقسيم ليس مجرد مؤشر تقني بسيط، بل يعني للمستخدم خسائر متعددة. فبما أن الفوترة عبر API تُحسب بوحدة Token، فإن التكلفة الفعلية لتطوير المستخدمين الصينيين عند استخدام Claude أعلى بنحو 65% من النماذج الأخرى. إضافة إلى ذلك، كلما زاد عدد الـ Token التي يولدها النموذج، طال زمن الاستدلال، ما يؤدي إلى شعور المستخدم بتأخير ملحوظ.

ومن ناحية أخرى، رغم أن Claude مشهور بنافذة سياق طويلة جدًا، فإن ضعف كفاءة التقسيم يجعل كمية المعلومات الفعلية التي يمكن احتواؤها في السيناريو الصيني أقل بنحو 40% مقارنة بالمنافسين داخل نفس سعة النافذة، ما يؤدي إلى بلوغ حد الذاكرة بشكل أسرع.

تذكّر هذه المقارنة الشاملة مستخدمي الذكاء الاصطناعي مرة أخرى بأن مستوى تحسين اللغة يؤثر مباشرة في تكلفة النموذج. وبالنسبة لمستخدمي الصينية بكثافة، فإن مواصلة السعي إلى قدرات النموذج المنطقية مع تحمل فاتورة هذه «الضريبة الصينية» قد تكون واقعًا لا بد من موازنته قبل اختيار Claude.

المصدر