Model damıtma (distillation), bir modelden (öğretmen) genellikle daha küçük başka bir modele (öğrenci) bilgi aktarma sürecidir. Bu yöntem, kuantizasyona benzer şekilde, daha az bellek ve işlem gücü kullanan, ancak zekasını koruyan daha küçük modeller üretmeyi hedefler. Geçtiğimiz yıl piyasaya sürülen DeepSeek-R1, bu alandaki önemli bir örnektir. DeepSeek-R1, akıl yürütme yeteneklerinin kısmen diğer modellere aktarılabileceğini göstermek için daha küçük Llama ve Qwen modellerine damıtıldı. Bu sayede, matematik ve kodlama gibi akıl yürütme gerektiren görevlerde küçük modellerin performansı önemli ölçüde iyileştirildi.
NVIDIA'nın yeni makalesi, NVFP4 ağırlık setini en güçlü modelle eşleştirmek için üç ana yaklaşımı inceliyor: Eğitim Sonrası Kuantizasyon (PTQ), Kuantizasyon Odaklı Eğitim (QAT) ve Kuantizasyon Odaklı Damıtma (QAD). PTQ, büyük modellerde iyi çalışırken, küçük modellerde yetersiz kalır. QAT, kuantizasyonun neden olduğu yanlılığı düzeltmek için eğitim sürecinde kuantizasyonu simüle eder. QAD ise, yüksek hassasiyetli, eğitim sonrası bir modelden (aynı boyutta) doğrudan kuantize edilmiş modele bilgi damıtır. Makalede öğretmen model bfloat16 kullanırken, öğrenci model NVFP4 kullanır. QAD, öğretmen ve öğrenci olasılık dağılımları arasındaki Kullback-Leibler (KL) ıraksamasını kayıp fonksiyonu olarak kullanarak kuantize edilmiş modeli eğitir. Geleneksel ön eğitim ve QAT'nin aksine, QAD'de öğretmen ve öğrenci modellerinin aynı boyutta olması daha iyi sonuçlar verir, çünkü öğrencinin kendi dağılımını öğrenmesi daha kolaydır.
Araştırmanın dikkat çekici sonuçlarından biri, hem QAT hem de QAD modellerinin veri setinde benzer çapraz entropi kaybı elde etmesine rağmen, QAD modelinin tutulan örnekler üzerinde önemli ölçüde daha iyi KL ıraksaması göstermesidir. Bu bulgu, QAT'nin eğitim sırasında kuantizasyona iyi uyum sağlasa da, ortaya çıkan modelin farklı davrandığını ve QAD'nin daha genellenebilir ve doğru olasılık dağılımları ürettiğini gösteriyor. Bu, daha verimli ve yüksek performanslı yapay zeka modelleri geliştirmek için QAD'nin potansiyelini vurgulamaktadır.
Kuantizasyon Odaklı Damıtma (QAD), daha küçük ve verimli yapay zeka modelleri geliştirirken, geleneksel yöntemlere göre daha doğru ve genellenebilir sonuçlar sunarak model performansını önemli ölçüde artırıyor.