OpenJev tarayıcıda yerel olasılık çıkarımını test ediyor
Öne çıkanlar
- OpenJev, yerel dil modellerinde doğrudan olasılık okuma ile metin üretimini tarayıcı içinde kıyaslıyor.
- Platform MiniCPM5 2B, Qwen3 0.6B ve Qwen3.5 4B modellerini GGUF formatında çalıştırıyor.
- Tüm model ağırlıkları yerel önbellekte tutuluyor ve veriler cihaz dışına gönderilmiyor.
OpenJev platformu, dil modellerinin karar olasılıklarını tarayıcı üzerinde yerel olarak ölçen etkileşimli bir deney sundu. Kullanıcıların kendi grafik işlem birimleri (GPU) üzerinde çalışan sistem, doğrudan olasılık okuma yöntemi ile modelin metin üreterek yanıt verdiği klasik yaklaşımı karşılaştırıyor. Hugging Face üzerinden indirilen model ağırlıkları tarayıcı önbelleğinde saklanıyor ve veriler kullanıcının cihazından dışarı çıkmıyor.
Deney ortamı varsayılan olarak 1,56 GB boyutundaki MiniCPM5 2B modelini kullanıyor. Düşük donanımlı cihazlar ve telefonlar için 639 MB boyutundaki Qwen3 0.6B seçeneği sunulurken, daha yüksek bellek gerektiren 3,01 GB boyutundaki Qwen3.5 4B modeli de sistemde yer alıyor. Modeller wllama aracılığıyla çalıştırılan kuantize edilmiş GGUF sürümlerinden oluşuyor. Test sonuçlarına göre Qwen3.5 4B modeli TypeSafe testinde yüzde 84,5 doğruluk oranına ulaşıyor.
Sistem, kaynak çakışmasını önlemek amacıyla her iki yöntemi aynı model üzerinde sırayla çalıştırıyor. İlk aşamada doğrudan seçenek olasılıkları hesaplanıyor, ardından modelden aynı dağılımı JSON metni olarak üretmesi isteniyor. Deney sürecindeki hazırlık, doğrudan yürütme ve metin üretimi süreleri tarayıcı API'leri üzerinden gerçek zamanlı olarak ölçülüyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.