MicroLLM Lab yedi küçük dil modelini tarayıcıda test ediyor
Öne çıkanlar
- Sistem yedi küçük dil modelini harici bir sunucu olmadan doğrudan tarayıcı içinde çalıştırıyor.
- Doğruluk ve hız ölçümleri nesnel belirteç ve regex denetimleriyle yerel donanımda yapılıyor.
- Kullanıcılar JavaScript ile kendi testlerini yazabiliyor ve performans sertifikası alabiliyor.
MicroLLM Lab projesi, kullanıcıların doğrudan web tarayıcısı üzerinden yedi farklı küçük ölçekli dil modelini çalıştırmasına ve nesnel kriterlerle test etmesine olanak tanıyan yeni bir deney ortamı sundu. Sistem, modellerin metin üretim kalitesinden ziyade düzenli ifadeler (regex) ve tam belirteç (token) eşleşmeleri gibi nesnel doğrulamalar üzerinden başarı oranını ölçüyor. 135 milyon parametreli modellerin başarısızlık ihtimali de dahil olmak üzere donanımın sınırları bu ortamda doğrudan gözlemlenebiliyor.
Platform, testler sırasında çalışma süresini milisaniye cinsinden, üretim hızını saniye başına düşen belirteç (tok/s) oranıyla ve doğruluk oranını tarayıcı oturumunda anlık olarak kaydediyor. Elde edilen tüm performans metrikleri ve ölçüm verileri harici sunuculara gönderilmeden kullanıcının yerel makinesinde işlenip saklanıyor. Bu sayede cihazların sürekli kod çözme ve test paketi tamamlama süreleri yerel donanım üzerinde karşılaştırmalı grafiklere dönüştürülüyor.
Araç ayrıca kullanıcıların JavaScript kullanarak kendi özel test paketlerini yazmalarına ve bunları modellerin çıktısı üzerinde çalıştırmalarına imkan veriyor. Kullanıcılar test süreci sonunda cihaz donanımını, ulaşılan en yüksek ve kararlı hız verilerini içeren doğrulanabilir bir performans sertifikası oluşturabiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.