Yapay zeka modelleri İskandinav dillerinde İngilizceye kıyasla daha yüksek fatura çıkarıyor
Öne çıkanlar
- İskandinav dillerindeki istemler, İngilizceye göre en az yüzde 30 daha fazla belirteç tüketiyor.
- Fince metinlerin modellerdeki işlem maliyeti İngilizceye kıyasla iki katına kadar çıkıyor.
- İsveççe ve Norveççe karakter sayısı bakımından İngilizce ile neredeyse aynı uzunlukta seyrediyor.
Klang araştırmacıları, büyük dil modellerinin farklı dillerdeki metinleri işleme maliyetini ölçen bir çalışma yayımladı. Araştırma kapsamında dokuz farklı laboratuvardan 12 güncel yapay zeka modeline İngilizce, İsveççe, Norveççe, Danca ve Fince dillerinde aynı anlama gelen 3 bin cümle gönderildi. İncelenen tüm modeller, İskandinav dillerindeki içerikler için İngilizceye kıyasla en az yüzde 30 daha fazla belirteç (token) üretti ve kullanıcılara daha yüksek fatura yansıttı.
Farklılık metinlerin karakter uzunluğundan değil, modellerin belirteç listelerinin (tokenizer) ağırlıklı olarak İngilizce verilerle eğitilmesinden kaynaklanıyor. Örneğin İsveççe ve Norveççe metinler karakter sayısı bakımından İngilizce ile neredeyse aynı uzunlukta olmasına rağmen, İsveççe içerikler modellerine göre yüzde 32 ile yüzde 68 arasında daha pahalıya mal oldu. Fince metinlerde ise bu ek maliyet oranı yüzde 100 seviyesine, yani iki katına kadar çıktı.
Araştırma, dil modellerinin kelime dağarcığında önceliklendirilmeyen dillerin hem daha yavaş yanıt aldığını hem de ekonomik dezavantaj yaşadığını gösterdi. Bölgesel dillerle eğitilen açık kaynaklı modellerin bu farkı yüzde 5 seviyesine kadar indirebildiğini belirten araştırmacılar, yerel yapay zeka laboratuvarlarının ve yerel dil modellerinin geliştirilmesinin önemine dikkat çekti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.