WebLLM tarayıcı üzerinde yerel yapay zeka çıkarımı sunuyor
Öne çıkanlar
- WebLLM, büyük dil modellerini sunucusuz olarak doğrudan tarayıcıda WebGPU ile çalıştırıyor.
- OpenAI API uyumluluğu sayesinde akış ve JSON kipi özellikleri doğrudan destekleniyor.
- Llama 3, Phi 3, Gemma ve Mistral gibi popüler açık modeller yerel olarak çalıştırılabiliyor.
MLC AI ekibi, büyük dil modellerinin doğrudan internet tarayıcıları içinde çalışmasını sağlayan açık kaynaklı çıkarım motoru WebLLM'i geliştirdi. Proje, sunucu tarafında herhangi bir işlem gücüne ihtiyaç duymadan WebGPU desteğiyle istemci donanımından yararlanıyor. Kullanıcı verilerinin cihaz dışına çıkmasını engelleyen altyapı, yerel yapay zeka uygulamaları için gizlilik odaklı bir çalışma ortamı sunuyor.
Sistem, OpenAI API standartlarıyla tam uyumlu çalışarak geliştiricilerin mevcut kod yapılarını kolayca taşımasına olanak tanıyor. WebAssembly ve WebGPU mimarisini birleştiren WebLLM; Llama 3, Phi 3, Gemma, Mistral ve Qwen gibi popüler açık kaynaklı modelleri doğrudan destekliyor. Yapılandırılmış JSON çıktısı üretimi, akış tabanlı yanıtlar ve model ağırlıklarının tarayıcı önbelleğinde saklanması gibi özellikler de kütüphane bünyesinde yer alıyor.
Geliştiriciler paketi NPM, Yarn veya CDN üzerinden projelerine dahil edebiliyor. Ağır hesaplama yüklerinin kullanıcı arayüzünü kilitlemesini önlemek amacıyla Web Worker ve Service Worker desteği de motora entegre edildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.