Araştırmacılar difüzyon tabanlı açık ağırlıklı dil modeli DiffusionGemma'yı duyurdu

Araştırmacılar, ayrık difüzyon tekniğiyle yüksek hızda metin üretebilen açık ağırlıklı yeni dil modeli DiffusionGemma'yı tanıttı. Geleneksel ardışık modellerin aksine metinleri tek tek üretmek yerine 256 belirteçlik blokları paralel olarak işleyen sistem, ardışık kod çözme darboğazını ortadan kaldırıyor. Model, sıfırdan eğitilmek yerine 3,8 milyar aktif ve 25,2 milyar toplam parametreye sahip Gemma 4 mimarisi üzerinden ince ayar yöntemiyle geliştirildi.

İki aşamalı ve hesaplama açısından verimli bir eğitim süreci kullanan araştırmacılar, başlangıçtaki modelin eğitim bütçesinin yüzde 10'undan daha azını harcadı. İlk aşamada çift yönlü gürültü giderme öğretilirken, ikinci aşamada pekiştirmeli öğrenme ve örnekleyici damıtma teknikleri bir araya getirildi. DiffusionGemma, tek bir NVIDIA H100 GPU üzerinde saniyede yaklaşık 1.500 çıktı belirtecine ulaşarak spekülatif kod çözme yöntemlerine kıyasla daha yüksek bir üretim hızı sergiledi.

Model aynı zamanda akıl yürütme modu, çok modlu girdi ve uzun bağlam desteği gibi temel yetenekleri korumaya devam ediyor. Difüzyon tabanlı ince ayara rağmen geleneksel ardışık metin üretimini de küçük bir performans kaybıyla sürdürebilen DiffusionGemma, hibrit üretim yaklaşımları için yeni bir zemin oluşturuyor.