Yazılımcı 140 karakterlik demolar için Demoscener yapay zeka modelini eğitti
Öne çıkanlar
- Qwen2.5-Code-7B modeli, Dwitter üzerinden derlenen 25 bin kısa JavaScript demosuyla eğitildi.
- Beğeni puanlarına dayalı müfredat eğitimi sayesinde modelin şaşkınlık puanı 5,65 seviyesine indi.
- Geliştirici pekiştirmeli öğrenme sürecinde yaklaşık 40 bin animasyonu bizzat değerlendirerek ödül işlevi gördü.
- Eğitilen Demoscener-7B modeli ve veri seti HuggingFace üzerinde açık kaynak olarak yayımlandı.
Bir yazılımcı, demoscene kültüründeki görsel efektleri ve kod küçültme tekniklerini araştırırken yarım kalan mini programları tamamlayabilen Demoscener adlı yapay zeka modelini geliştirdi. Dwitter platformundaki 140 karakterlik JavaScript kod parçacıklarından esinlenen geliştirici, bu alana özgü sıra dışı sözdizimini ve matematiksel kısayolları öğrenebilen özel bir otomatik tamamlama sistemi kurmayı amaçladı. Çalışma, GitHub Sponsors gelirleriyle kiralanan bir grafik işlemci üzerinde yürütüldü.
Eğitim sürecinde temel model olarak Qwen2.5-Code-7B tercih edildi. Model ilk aşamada Dwitter API üzerinden toplanan 25 bin demo ile sürekli ön eğitime tabi tutuldu. Kodların alışılmadık yapısı nedeniyle başlangıçta zorlanan sistemin şaşkınlık (perplexity) değeri 28,63 seviyesinden 8,57 seviyesine geriledi. Geliştirici daha sonra sitedeki beğeni puanlarını temel alan 400 adımlı bir müfredat eğitimi uygulayarak yüksek puanlı demoların örnekleme ağırlığını yüzde 67 seviyesine çıkardı ve görsel kaliteyi artırdı.
Son aşamada geliştirici kendi estetik tercihlerini modele aktarmak için GRPO yöntemiyle insan geri bildirimiyle pekiştirmeli öğrenme uyguladı. Yaklaşık 40 bin animasyonu bizzat inceleyerek sekizli tamamlama grupları arasından en beğendiklerini seçen araştırmacı, modelin görsel kalitesini belirgin şekilde iyileştirdi. Hazırlanan Demoscener-7B modeli ve eğitim veri seti HuggingFace platformunda açık kaynak olarak paylaşıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.