Araştırma: Aynı metin bazı dillerde yapay zeka modellerinde İngilizceye göre çok daha fazla token tutuyor

Rest of World’ün 26 Ekim’de yayımladığı habere göre İngilizce dışındaki dillerde yapay zeka kullanmak daha pahalıya gelebiliyor. Haber, Coalition for Language Equity in AI Research’ün (CLEAR) 29 Eylül’de yayımladığı “The Tokenizer Tax” çalışmasına dayanıyor. Modeller metni token denen parçalara bölüyor, sağlayıcılar da dil fark etmeksizin token başına ücret alıyor. Dijital verisi az olan dillerde metin daha küçük parçalara bölündüğü için token sayısı artıyor. Araştırmacılar bu farka “tokenizer vergisi” diyor. Daha fazla token aynı zamanda daha uzun gecikme ve bağlam penceresinde daha az yer demek.

CLEAR, yaklaşık 200 dile profesyonelce çevrilmiş cümlelerden oluşan FLORES-200 setini büyük laboratuvarların tokenizer’larıyla saydı. Ana ölçüt, en pahalı dilin en ucuz dile göre kaç kat token gerektirdiği. Web’de en yaygın 20 dilde bu oran, bir istisna dışında 1,5 ile 3,1 kat arasında kalıyor. 200 dile çıkınca fark büyüyor: oran en adil tokenizer’da 2,7, en kötüsünde 17 kat. Çalışmanın not sisteminde hiçbir genel amaçlı öncü model B’den iyi not alamadı. Google’ın Gemini ve Gemma ailesi 5,1 katla B, Anthropic’in Claude Fable 5 ve Opus 4.8’i 9,3 katla D, OpenAI’ın GPT-5’i 13,8 katla F aldı. En dezavantajlı diller Birmanca, Tibetçe, Khmerce ve Laoca gibi az görülen yazı sistemlerini kullananlar.

Türkçe, çalışmanın blog yazısında ayrıca anılmıyor ama FLORES-200 verisinde yer alıyor. CLEAR’ın GitHub’da paylaştığı ham sayımlara göre aynı Türkçe metin, modele göre İngilizcenin yaklaşık 1,3 ile 2 katı token tutuyor. Oran Llama 4 Scout’ta 1,30, Gemini ve Gemma’da 1,34, GPT-5’te 1,42, Claude Fable 5’te 1,69, DeepSeek V4.1 Flash’ta 2,02. Bu oranları çalışma kendisi vermiyor, yayımlanan sayımlardan hesaplandı. CLEAR, laboratuvarlardan bu oranları model kartlarında yayımlamalarını ve karaktere ya da dile göre fiyatlamaya geçmelerini istiyor. Maya Research CEO’su Dheemanth Reddy, Rest of World’e token fiyatları düştükçe maliyet etkisinin azalacağını söyledi. Reddy’ye göre asıl çözüm yine de tokenizer tasarımında.