Esto es interesante: los modelos de Anthropic sufren más el "hablar" otros idiomas a nivel de uso de tokens.
En español el número de tokens usados se multiplica 1.62x respecto al modelo de OpenAI en inglés.
Aran Komatsuzaki@arankomatsuzaki
The non-English tax is real. Sutton's Bitter Lesson, translated across languages and normalized to OpenAI English token count: Hindi: OpenAI 1.37×, Anthropic 3.24× Arabic: OpenAI 1.31×, Anthropic 2.86× Chinese: OpenAI 1.15×, Anthropic 1.71× Claude’s tokenizer charges a much higher linguistic tax.
Español
