Gemma 4 E2B modeli 700 satır saf C koduyla çalıştırıldı
Öne çıkanlar
- Gemma 4 E2B modelinin tüm çıkarım mantığı 700 satırlık tek bir C dosyasında uygulandı.
- İşlemci testlerinde int8 ön doldurma hızında llama.cpp kütüphanesini geride bıraktı.
- Doğrulama testlerinde referans modelle yüzde 96,5 oranında en iyi tahmin uyumu yakaladı.
Geliştirici Ryan Senn, Google'ın Gemma 4 E2B dil modelini harici kütüphane kullanmadan yalnızca 700 satır saf C koduyla çalıştıran gemma4.c projesini yayımladı. Eğitim amaçlı geliştirilen açık kaynaklı proje, tüm çıkarım sürecini tek bir C dosyasında topluyor.
AMD Ryzen 7 7700 işlemcide yapılan testlerde gemma4.c, int8 kuantizasyon ile saniyede 638,86 ön doldurma ve 25,90 üretim belirteci hızına ulaştı. Bu değerler, aynı donanımda test edilen llama.cpp kütüphanesinin Q8_0 başarımını geride bıraktı.
Model ağırlıklarını int8 biçiminde saklayan ve AVX2 yönergeleriyle çalışan sistem, Hugging Face Transformers referans uygulamasıyla yapılan sayısal doğrulamada yüzde 96,5 oranında en iyi tahmin uyumu sağladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.