Geliştiriciler dört GPU ile 235 milyar parametrelik modeli ince ayardan geçirdi
Öne çıkanlar
- Dört H100 GPU üzerinde 235 milyar parametreli modelin eğitimi 26 saat sürdü.
- İnce ayar sonrası modelin ortalama F1 puanı 7,63 artarak ticari modelleri geçti.
- Bellek aşımı sorunu DeepSpeed ZeRO-3 ve sistem RAM'i desteğiyle aşıldı.
- Yeni açık modeller benzer başarıyı sağladığı için eğitilen model yayına alınmadı.
Bir yazılım ekibi, belge sınıflandırma maliyetlerini düşürmek amacıyla 235 milyar parametreli açık kaynaklı Qwen3-235B modelini dört adet Nvidia H100 GPU üzerinde başarıyla ince ayardan geçirdi. Dört GPU'da toplam 320 GB grafik belleği ve 960 GB sistem belleği bulunan tek bir sunucuda yürütülen işlem, 3 bin 600 örnek üzerinde tek bir döngüde tamamlandı. Yaklaşık 26 saat süren eğitim sonucunda modelin F1 başarı puanı müşteri verilerinde ortalama 7,63 puan arttı ve ticari API modellerini geride bıraktı.
Çalışma sürecinde Axolotl, Unsloth ve FSDP tabanlı araçlar dahil olmak üzere ilk dört farklı kurulum bellek sınırları ve kütüphane uyumsuzlukları nedeniyle başarısız oldu. Ekip, modeli çalıştırmak için LlamaFactory çatısı altında DeepSpeed ZeRO-3 mimarisini ve işlemci belleğine aktarma yöntemini kullandı. Bu yöntemde dondurulmuş 4-bit taban model ağırlıkları sistem RAM'inde tutuldu ve her katman eğitim anında grafik işlemcilerine taşındı; böylece bellek yetersizliği sorunu aşıldı.
Eğitilen model yüksek doğruluk oranına ulaşmasına rağmen üretim ortamına alınmadı. Ekip, bu büyüklükteki bir modeli düşük gecikmeyle çalıştırmanın yüksek ek altyapı maliyeti getirdiğini ve bu süreçte yayımlanan yeni açık modellerin ince ayara gerek kalmadan benzer başarıyı sağladığını açıkladı. Geliştiriciler, temel modeller hızla geliştiği için ince ayar kararının yalnızca kamuya açık olmayan çok özel veri setleri için verilmesi gerektiğini belirtti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.