Geliştirici 6 GB VRAM ile 1,1 milyar parametreli yapay zeka eğitti

Bağımsız bir geliştirici, yüksek donanım gereksinimleriyle bilinen büyük dil modeli ön eğitimini 6 GB grafik belleğine sahip dizüstü bilgisayarda çalıştırmayı başardı. Standart yöntemlerle en az 24 GB VRAM veya A100 seviyesinde sunucu GPU'ları gerektiren 1,1 milyar parametreli model, bellek optimizasyonu ve mimari mühendislik adımlarıyla tüketici sınıfı donanıma sığdırıldı. Geliştirici, kurduğu uçtan uca boru hattının 5,24 GB tepe bellek kullanımıyla kesintisiz çalıştığını ve kontrol noktalarının başarıyla kaydedildiğini açıkladı.

Sistemin temelini katman bazlı eğitim yaklaşımı oluşturuyor. Modelin tüm katmanlarını aynı anda bellekte tutmak yerine yalnızca tek bir blok aktif olarak eğitiliyor, dondurulan diğer bloklar ise GPU belleğinden çıkarılarak sistem RAM'ine aktarılıyor. Bu yöntem optimizer bellek tüketimini yaklaşık 8 kat azaltırken, BitNet benzeri 3 değerli ağırlık nicelleştirme ve ileri geçiş aktivasyonlarının saklanmak yerine yeniden hesaplanması gibi teknikler bellek yükünü hafifletti. Geliştirici, tek blok eğitmenin tam model eğitimine kıyasla şaşkınlık (perplexity) skorunda 1,6 katlık bir kalite kaybı getirdiğini de bildirdi.

Yapılan optimizasyonlar sonucunda adım başına harcanan süre 21,8 saniyeden 12,3 saniyeye indi ve saniyede işlenen belirteç sayısı 2 bin 656 seviyesine çıktı. Tam ön eğitimin mevcut donanımla 132 ila 211 gün arasında süreceği hesaplanıyor. Model mimarisine eklenen küçük boyutlu dikkat katmanları ve paylaşımlı sözlük tablosu gibi adımlarla gereksiz parametre fazlalıkları elendi, ancak PyTorch otomatik derleyicisi ve uzmanlar karması (MoE) mimarisi bu ölçekte performans düşüşüne yol açtığı için elendi.