Spekülatif kod çözme GPU iş yükünü dönüştürerek hız sağlıyor
Öne çıkanlar
- Spekülatif kod çözme toplam işlem sayısını azaltmıyor, aksine aynı dizi için artırıyor.
- Yöntem, geleneksel tekil üretimdeki bellek bant genişliği sınırını hesaplama lehine dönüştürüyor.
- Büyük toplu işlem boyutlarında reddedilen jetonlar verimsizlik yarattığı için yöntem kapatılabiliyor.
Büyük dil modellerinde kullanılan spekülatif kod çözme yönteminin işlem hacmini azaltmadığı, aksine toplam işlem sayısını artırdığı açıklandı. Yaygın inanışın aksine bu teknik, jeton başına düşen matematiksel işlem miktarını (FLOP) düşürmüyor; GPU donanımının gerçekleştirdiği iş yükünün yapısını bellek ağırlıklı olmaktan çıkarıp hesaplama ağırlıklı hale getiriyor.
Geleneksel tekil jeton üretiminde grafik işlemciler her adımda model parametrelerini belleğe yüklemek zorunda kaldığı için bellek bant genişliğine takılıyor. Küçük bir taslak model ile ana modeli birlikte kullanan spekülatif kod çözme ise tek bir ileri geçişte birden fazla jetonu doğrulayarak boşta kalan hesaplama kapasitesini değerlendiriyor. Böylece düşük toplu işlem boyutlarında sıralı üretim belirgin şekilde hızlanıyor.
Yüksek hacimli gerçek dünya senaryolarında ise bu yöntem hesaplama sınırına ulaşıldığında verimsizleşebiliyor. Reddedilen her taslak jetonun boşa harcanan işlem gücü anlamına geldiği durumlarda, vLLM gibi çıkarım motorları belirli toplu işlem büyüklüklerinin üzerinde spekülatif kod çözmeyi devre dışı bırakma seçeneği sunuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.