Strands Decider modelinde kodlayıcı ve kod çözücü mimarileri karşılaştırıldı
Öne çıkanlar
- e1b kodlayıcı modeli kısa metinlerde medyan 35 ms gecikmeyle 65 ms düzeyindeki v19 modelini geride bıraktı.
- v19 modeli yüzde 75 oranında Gated DeltaNet katmanı kullanarak uzun girdilerde doğrusal hesaplama avantajı sağladı.
- e1a kodlayıcı modeli belirli test kümelerinde başarılı olsa da JevBench testinde 168 puana karşı 153 puanda kaldı.
Strands Decider 2B modelinin yayımlanmasının ardından geliştirici ekip, sınıflandırma görevlerinde neden BERT benzeri çift yönlü bir kodlayıcı (encoder) yerine değiştirilmiş bir nedensel kod çözücü (decoder) LLM tercih edildiğini test eden karşılaştırmalı bir analiz yürüttü. Yapılan deneylerde T5Gemma, ModernBERT ve ettin-encoder gibi alternatiflerin yanı sıra farklı maskeleme yöntemlerine sahip kodlayıcı modelleri incelendi. Sonuçlar, çift yönlü mimarilerin belirgin bir üstünlük sağlamadığını ortaya koydu.
Doğruluk ve kalibrasyon ölçümlerinde v19 kod çözücü modeli ile e1b kodlayıcı adayı JevBench ve JF100 testlerinde birbirine yakın sonuçlar verdi. Gecikme süresi tarafında ise kodlayıcı modeller kısa girdilerde 35 milisaniyelik medyan süreyle 65 milisaniyelik v19 modeline kıyasla avantaj sağladı. Ancak girdi uzunluğu arttıkça tam dikkat mekanizmasına sahip kodlayıcıların karesel hesaplama maliyeti performansı düşürdü. Gated DeltaNet katmanları kullanan v19 modeli ise doğrusal maliyet avantajı sayesinde uzun girdilerde daha iyi ölçeklendi.
Genelleme kabiliyetinde maskelenmemiş e1a kodlayıcı modeli dokuz değerlendirme görevinin yedisinde v19 modelini geride bıraksa da JevBench ve JF100 benchmarklarında geriye düştü. Elde edilen veriler, çift yönlü dikkat mekanizmasının sınıflandırma görevlerinde otomatik bir kazanım sağlamadığını ve mimari tercihlerinde iş yükü boyutunun belirleyici olduğunu gösterdi. Ekip, mevcut aşamada kodlayıcı mimarisini ana Strands Decider projesine dahil etmeme kararı aldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.