El investigador de IA Aran Komatsuzaki realizó recientemente una evaluación cruzada de las herramientas de segmentación (Tokenizer) de los principales modelos, y los resultados mostraron que el modelo Claude de Anthropic tiene una eficiencia muy baja al manejar el chino. Los usuarios, al pagar el mismo costo, obtienen significativamente menos contenido procesado en comparación con otros modelos, fenómeno que la comunidad ha denominado 'impuesto chino'.
Evaluación cruzada de la eficiencia de segmentación en varios idiomas
Investigadores utilizaron un artículo conocido en el campo de la IA (Lección amarga) como muestra estándar, traduciéndolo a nueve idiomas y luego ingresándolo en las herramientas de segmentación de seis modelos: OpenAI, Gemini, Qwen, DeepSeek, Kimi y Claude.
Los experimentos tomaron como referencia 1× el número de Token de un texto original en inglés en la herramienta de segmentación de OpenAI. Los datos muestran que, al procesar el mismo contenido en chino, las diferencias de rendimiento entre los distintos modelos son enormes.
El consumo de Tokens del modelo de idioma chino Kimi es solo 0.81× del valor de referencia, mientras que Qwen es 0.85×. Esto significa que, en estos modelos, la eficiencia de compresión del chino incluso supera la del inglés.
En cuanto al rendimiento de OpenAI, este es aceptable: el consumo de Tokens en chino es 1.15× del valor de referencia, lo que refleja que su segmentador está optimizado en cierta medida para idiomas extranjeros comunes. El peor desempeño en el procesamiento de chino lo muestra Claude, con un consumo de hasta 1.65× del valor de referencia, es decir, un 50% más que OpenAI, e incluso el doble que Kimi. Y en hindi (Hindi), el consumo de Claude supera aún más el valor de referencia, alcanzando más de 3×.
Seguimiento de la ineficiencia de tokens en idiomas no ingleses con más pares modelo-idioma: – En los principales modelos chinos, el chino es más barato que el inglés – Gemini y Qwen imponen la menor «tasa» por no-ingles – Anthropic tiene la tasa más alta, muy por encima; Kimi es el siguiente – El hindi es el peor cubierto aquí,… https://t.co/imeRUrzwjD pic.twitter.com/DEM84FmHoV
— Aran Komatsuzaki (@arankomatsuzaki) 28 de abril de 2026
¿Por qué el mismo chino cuesta más en Claude?
La raíz de esta brecha está en la estrategia de entrenamiento del «segmentador». El segmentador es el primer «filtro» por el que pasa el texto para que la IA lo entienda: se encarga de dividir el texto en unidades de Token.
La conclusión de Aran señala: «Si el mercado es grande, entonces se ahorran más Tokens». La eficiencia del segmentador depende en gran medida de la proporción de cada idioma en los datos de entrenamiento. Modelos nacionales como Kimi y Qwen incluyen grandes cantidades de corpus en chino durante el entrenamiento, por lo que sus segmentadores pueden «empaquetar» de forma eficiente los términos en chino. En cambio, los datos tempranos de Anthropic estaban altamente sesgados hacia el inglés, lo que hace que su segmentador, al procesar chino, solo pueda aplicar una estrategia de «corte en pedazos»; una misma frase se divide en más fragmentos, elevando así el total de Tokens.
Impactos adversos sustanciales a los que se enfrentan los usuarios
Que la eficiencia del segmentador sea baja no es solo un indicador técnico; para los usuarios significa múltiples pérdidas. Como la API se cobra por Token, para los usuarios chinos el coste real de desarrollo con Claude es casi un 65% más caro que con otros modelos. Además, cuanto más genera el modelo, más tiempo de inferencia se requiere, lo que provoca una latencia claramente perceptible por los usuarios.
Por otro lado, aunque Claude es conocido por su ventana de contexto extremadamente larga, debido a la baja eficiencia del segmentador, con la misma capacidad de ventana se puede acomodar en escenarios de chino alrededor de un 40% menos de información real que en sus competidores, lo que hace que el modelo alcance antes el límite de memoria.
Este ranking comparativo vuelve a recordarle a los usuarios de IA que el nivel de optimización del idioma afectará directamente el coste del modelo. Para los usuarios chinos intensivos, al perseguir capacidades lógicas del modelo, la «factura del impuesto al chino» quizá sea una realidad que deban sopesar antes de elegir Claude.
Fuente