Yeni paralel dil modelleri çıkarım süresini 5,7 kata kadar hızlandırıyor
Öne çıkanlar
- Paralel Dil Modelleri, belirteç bağımlılıklarını gizil değişkenler üzerinden yöneterek tek geçişte üretim yapıyor.
- 1,3 milyar parametreli model matematik ve kodlama görevlerinde çıkarımı 2,3 ile 5,7 kat hızlandırdı.
- Model ölçeği büyüdükçe sağlanan çıkarım hızlanmasının bir güç yasası izlediği tespit edildi.
Araştırmacılar, otoregresif dil modellerindeki yüksek çıkarım gecikmesini aşmak amacıyla tek bir ileri geçişte birden fazla belirteç üretebilen Paralel Dil Modellerini (PLM) tanıttı. 19 Ekim 2026 tarihinde paylaşılan çalışmada, belirteçler arasındaki bağımlılıkların gizil yardımcı değişkenler üzerinden yönlendirildiği aktarıldı. Yöntem, otoregresif kayıp ile paralel kod çözme kaybını birleştiren bir varyasyonel sınır kullanarak tek bir hedef üzerinden eğitiliyor.
Geliştirilen mimari, 80 milyon ile 3 milyar parametre arasındaki modellerde test edildi. Deney sonuçlarına göre PLM, otoregresif taban modellerine oldukça yakın bir ön eğitim kaybı sağladı. Model boyutu büyüdükçe elde edilen hızlanma miktarının bir güç yasasını takip ettiği gözlemlendi. Yöntem hem geleneksel otoregresif modellere hem de ayrık difüzyon tabanlı alternatiflere kıyasla daha verimli bir Pareto sınırı oluşturdu.
Eğitim sonrası süreçten geçirilen 1,3 milyar parametreli model; matematik, kodlama ve talimat takip etme testlerinde otoregresif muadilleriyle eşleşti veya onları geride bıraktı. Yeni yaklaşım, görev türüne bağlı olarak çıkarım süresini 2,3 ile 5,7 kat arasında hızlandırdı. Araştırma ekibi, proje kodlarını açık kaynak olarak kamuoyuyla paylaşacağını duyurdu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.