Microsoft 2,8 trilyon parametreli yapay zeka modeli MAI-Base-2'yi eğitti

Microsoft AI, 80 milyar aktif ve 2,8 trilyon toplam parametreye sahip yeni uzmanlar karması (MoE) temel modeli MAI-Base-2'nin ön eğitim sürecini tamamladığını duyurdu. Model, Ağustos ve Eylül 2026 döneminde 16 bin adet Nvidia GB200 grafik işlemcisi üzerinde 38 gün boyunca eğitildi. Çalışma süresince yüzde 21 model işlem verimliliği (MFU) ve yüzde 89 kesintisiz ilerleme oranı elde edildi. Şirket, test değerlendirmelerinde modelin DeepSeek-V4-Pro-Base dahil mevcut açık ağırlıklı modellerden daha iyi performans sergilediğini ve 4 ila 12 kat daha yüksek işlem verimliliği sunduğunu açıkladı.

Eğitim mimarisinde yapılan iyileştirmeler kapsamında her katmanda MoE yapısına geçildi ve bellek taşmalarını önlemek için belirteç düşürmeyen çok turlu bir dağıtım mekanizması geliştirildi. Bu yaklaşım sayesinde MoE katmanlarının işlem verimliliği yüzde 24 seviyesinden yüzde 35 düzeyine çıkarıldı. Optimizasyon tarafında AdamW yerine Newton-Schulz algoritmasını temel alan Muon tercih edildi ve yapılan dağıtık iletişim iyileştirmeleriyle bu adımın toplam eğitim adım süresindeki payı yüzde 2,1 seviyesine çekildi. Ayrıca eğitim kararlılığını artırmak amacıyla belirli katmanlarda aktivasyon gradyanı kırpma yöntemi uygulandı.

Veri tarafında başka modellerden damıtma yapılmadan tamamen özgün kaynaklar kullanıldı ve toplam eğitim kümesi 50 trilyon belirtece ulaştı. Kodlayıcısız bir görsel dil modeli (VLM) mimarisine sahip olan MAI-Base-2'nin eğitim karışımının yüzde 18'ini 4,5 trilyon benzersiz belirteç içeren görsel veriler oluşturdu. Microsoft, modelin şu anda ön eğitim sonrası ince ayar aşamasında bulunduğunu ve ağırlıkların Foundry platformu üzerinden kurumsal iş ortaklarına lisanslanacağını bildirdi.