Difüzyon tabanlı dil modelleri metin üretiminde yeni bir alternatif sunuyor
Öne çıkanlar
- Difüzyon dil modelleri jetonları tek tek üretmek yerine tüm diziyi yinelemeli olarak iyileştiriyor.
- Maskelenmiş difüzyon mekanizması BERT benzeri çift yönlü dönüşüm mimarisini üretici hale getiriyor.
- Blok difüzyon tekniğiyle KV önbellekleme ve değişken uzunlukta metin üretimi destekleniyor.
Cornell Üniversitesi araştırmacıları, geleneksel ardışık (otoregresif) modellerin aksine metni bir bütün olarak üreten difüzyon tabanlı büyük dil modellerinin teknik temellerini yayımladı. Görsel üretiminde kullanılan Gauss difüzyonunun ayrık metin verilerine uyarlanmasıyla geliştirilen sistem, metin oluştururken rastgele maskeleme ve yinelemeli gürültü giderme mantığını kullanıyor.
Geleneksel dil modelleri jetonları soldan sağa tek tek üretirken, maskelenmiş difüzyon modelleri (MDLM) çift yönlü bağlamı aynı anda değerlendiriyor. Sistem, tamamen maskelenmiş bir girdi dizisinden başlayarak belirli adımlarda boşlukları dolduruyor ve hataları sonradan düzeltebiliyor. Blok difüzyon ve KV önbellekleme teknikleri sayesinde sabit uzunluk kısıtı aşılarak değişken uzunlukta metin üretimi mümkün hale geliyor.
Araştırma grubu, difüzyon yaklaşımının ardışık modellerle arasındaki şaşkınlık (perplexity) farkını kapattığını kaydetti. Yaklaşım, hız ve kalite dengesinin adım sayısına göre ayarlanmasına imkân tanıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.