Sıfırdan ChatGPT geliştirmeyi öğreten açık kaynaklı eğitim yayımlandı
Öne çıkanlar
- Eğitim, skaler otomatik türevden sohbet asistanına kadar 20 modülden oluşuyor.
- Tüm sistem bulut GPU desteği olmadan doğrudan Apple M serisi cihazlarda çalışıyor.
- Müfredat, gömme katmanları, Transformer blokları, DPO ve ajan döngülerini kapsıyor.
Mister Meeseeks adlı geliştirici, kullanıcıların harici kütüphane veya bulut altyapısı kullanmadan kendi büyük dil modellerini geliştirmesini sağlayan "From Gradients to ChatGPT" adlı açık kaynaklı eğitim programını yayımladı. Bilgisayar bilimleri klasiği "From NAND to Tetris" modelini temel alan müfredat, skaler otomatik türevden başlayarak çalışan bir sohbet asistanına uzanan tüm yazılım katmanlarını sıfırdan inşa etmeyi öğretiyor.
Eğitim içeriği, Apple M serisi dizüstü bilgisayarlarda yerel olarak çalışabilecek şekilde kurgulandı. Toplam 20 modülden oluşan iki aşamalı programın ilk bölümünde temel matematik, tensörler, dikkat mekanizmaları, Transformer blokları ve model ön eğitimi ele alınıyor. İkinci bölüm ise sistem mühendisliğine odaklanarak komut uyarlama, doğrudan tercih optimizasyonu (DPO), RAG, araç kullanımı ve bağımsız ajan döngülerini kapsıyor.
Katılımcılar, her modülde Python ile sıfırdan kodlama yaparak birkaç milyon parametreli modeller eğitiyor ve Jupyter ortamında alıştırmaları tamamlıyor. Hazırlanan içerik, ticari çerçevelerin arkasındaki çalışma mekanizmasını kavratmayı ve üretim ölçeğindeki sistemlerin çalışma mantığını anlaşılır kılmayı amaçlıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.