Geliştiriciler LLM performansını alanına özel dillerle hızlandırıyor
Öne çıkanlar
- Yan modelin her turda karar vermesi 4.100 milisaniye sürerken DSL tabanlı puanlama fonksiyonu 20 milisaniyede tamamlanıyor.
- Görselleri her turda yeniden göndermek jeton tüketimini iki katına çıkarıyor.
- Bağlam derleyicisi maliyet, hız ve kalite modlarına göre verileri tam veya sıkıştırılmış biçimde işliyor.
Büyük dil modellerinin serbest metin biçiminde kendi istemlerini veya becerilerini yazmasının verimsiz olduğu bilinirken, kod ve alana özel dil (DSL) üretme yetenekleri öne çıkıyor. Geliştiriciler, modelin doğrudan karmaşık yapılandırmaları değiştirmesi yerine basit bir DSL ile etkileşime girmesini sağlayarak bağlam yönetiminde yüksek verim elde etti. Bu yöntem, sohbet geçmişinden kural çıkarma ve kanca yönetimi gibi süreçlerde başarılı sonuçlar verdi.
Aneta bağlam derleyicisi örneğinde sistem verileri, istemleri ve örnekleri ortak bir ara temsilde topluyor. Derleyici; maliyet, kalite ve hız hedeflerine göre bağlamdaki verileri tam veya sıkıştırılmış biçimde sunuyor. Özellikle görsel içeren bilimsel sorgularda her turda tüm görselleri göndermek jeton maliyetini iki katına çıkarırken, görsellerin bağlama eklenip eklenmeyeceğine karar vermek kritik bir optimizasyon adımı haline geliyor.
Her turda küçük bir yan model çalıştırmak karar kalitesini artırsa da yaklaşık 4.100 milisaniyelik gecikmeye yol açıyor. Mühendisler bu gecikmeyi önlemek için modele yalnızca bir kez çalışan küçük bir puanlama fonksiyonu yazdırdı. Temel metin benzerliği ve doğal dil çıkarımı yardımcılarıyla çalışan bu fonksiyon, karar süresini 20 milisaniyeye indirerek gecikmeyi büyük oranda düşürdü.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.