Açık kaynaklı karar modelleri için yerel çalışma ortamı Ollaya duyuruldu
Öne çıkanlar
- Ollaya, tek bir ileri geçişle çalıştığı için jeton jeton üretim yapmadan milisaniyeler içinde karar üretiyor.
- RTX 4090 GPU üzerinde beş soruluk bir Laya isteği yaklaşık 8-10 milisaniyede sonuçlanıyor.
- TypeSafe API ile uyumlu çalışan sistem, yerel donanım üzerinde Apache-2.0 lisansıyla çalışıyor.
Geliştiriciler, metin ve JSON verileri üzerinde çalışan karar modellerini yerel donanımda yürütmeyi sağlayan açık kaynaklı Ollaya platformunu tanıttı. Sistem, kullanıcıların hassas verilerini dışarıya göndermeden doğrudan kendi makinelerinde sınıflandırma ve yapılandırılmış karar alma süreçlerini işletmesine imkan tanıyor. Apache-2.0 lisansıyla sunulan araç, özellikle destek biletleri ve müşteri mesajları gibi hassas metinleri işleyen altyapıları hedefliyor.
Ollaya, geleneksel büyük dil modellerinin aksine cevabı jeton jeton üretmek yerine tek bir ileri geçişte (forward pass) hesaplıyor. Bu mimari yaklaşım sayesinde RTX 4090 grafik kartı üzerinde beş soruluk bir istek döngüsü HTTP API üzerinden 8 ila 10 milisaniyede tamamlanıyor. Platform, TypeSafe API uç noktalarıyla birebir uyumlu çalıştığı için mevcut TypeSafe Python SDK yapılandırması değiştirilmeden doğrudan yerel sunucuya yönlendirilebiliyor.
Sistem; Convai Innovations tarafından geliştirilen Laya ailesi, Mapika'nın decider modeli, Moritz Laurer'in nli sıfır-atış sınıflandırıcıları ve Knowledgator'ın gliclass modeli gibi açık ağırlıklı yapıları doğrudan Hugging Face üzerinden çekiyor. macOS, Windows, Linux ve Docker ortamlarını destekleyen platform, hesaplamaları ONNX Runtime kullanarak CPU veya CUDA 13 destekli NVIDIA GPU üzerinde çalıştırıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.