Исследователь ИИ Аран Комацузаки недавно провел кросс-языковую оценку токенизаторов различных моделей, и результат показал, что модель Claude от Anthropic крайне неэффективна в обработке китайского языка. При одинаковых затратах пользователи получают значительно меньше контента по сравнению с другими моделями, и это явление в сообществе назвали "китайским налогом".

Эффективность токенизации на разных языках

Исследователи использовали известную в области ИИ статью (Горький урок) в качестве стандартного образца, переведя её на девять языков, после чего результаты были введены в токенизаторы шести моделей: OpenAI, Gemini, Qwen, DeepSeek, Kimi и Claude.

В эксперименте за базовый уровень был принят «число Token английского оригинала в инструменте токенизации OpenAI». Данные показывают, что при обработке того же китайского контента различия в эффективности моделей очень велики.

Потребление Token у китайской модели Kimi составляет лишь 0,81 от базового уровня, а у Qwen — 0,85. Это означает, что в этих моделях эффективность сжатия китайского даже превосходит английский.

OpenAI, впрочем, показывает неплохой результат: потребление Token на китайском составляет 1,15 от базового уровня, что отражает определённую оптимизацию токенизатора под основные иностранные языки. Хуже всего с китайским справляется Claude: потребление достигает 1,65 от базового уровня, что на 50% выше, чем у OpenAI, и даже вдвое выше, чем у Kimi. А на хинди (Hindi) потребление Claude и вовсе превышает базовый уровень более чем в 3 раза.

Дополнение о неэффективности токенизации для неанглийских языков с большим числом пар модель-язык: – Китайский дешевле английского у основных китайских моделей – Gemini и Qwen дают наименьший «неанглийский налог» – У Anthropic этот налог, безусловно, самый высокий; далее идёт Kimi – Хинди — здесь самый плохо покрытый язык,… https://t.co/imeRUrzwjD pic.twitter.com/DEM84FmHoV

— Aran Komatsuzaki (@arankomatsuzaki) 28 апреля 2026

Почему один и тот же китайский текст на Claude стоит дороже?

Корень этого разрыва — в стратегии обучения «токенизатора». Токенизатор — это первая ступень, через которую AI-модель понимает текст; он отвечает за разбиение текста на единицы Token.

Вывод Aran таков: «Чей рынок больше, тот и экономит Token». Эффективность токенизатора в высокой степени зависит от доли каждого языка в обучающих данных. Отечественные модели, такие как Kimi и Qwen, включили в обучение огромные массивы китайских корпусов, поэтому их токенизаторы могут эффективно «упаковывать» китайские слова и фразы; напротив, ранние данные Anthropic были сильно смещены в сторону английского, из-за чего их токенизатор при обработке китайского вынужден применять стратегию «мелкого дробления», и та же фраза разбивается на большее число частей, что в итоге повышает общее количество Token.

Реальный вред, с которым сталкиваются пользователи

Низкая эффективность токенизации — это не просто технический показатель, она означает для пользователей целый ряд потерь. Поскольку API тарифицируется по Token, фактическая стоимость разработки для китайскоязычных пользователей Claude почти на 65% выше, чем у других моделей. Кроме того, чем больше Token генерирует модель, тем дольше время вывода, что приводит к ощутимой задержке для пользователей.

С другой стороны, хотя Claude известен своим сверхдлинным контекстным окном, из-за низкой эффективности токенизации в китайских сценариях тот же объём окна вмещает примерно на 40% меньше фактической информации, чем у конкурентов, из-за чего модель быстрее достигает лимита памяти.

Это сравнение снова напоминает пользователям AI: степень языковой оптимизации напрямую влияет на стоимость модели. Для активных китайскоязычных пользователей, наряду с погоней за логическими способностями модели, этот счёт за «китайский налог» — возможно, реальность, которую нужно взвесить перед выбором Claude.

Источник