Yerel karar modeli Laya yönlendirme testinde yüzde 92 başarıya ulaştı
Öne çıkanlar
- Laya, 40 senaryoluk test kümesinde kural tabanlı yönlendiricinin yüzde 82,5'lik oranını yüzde 92,5'e çıkardı.
- Model, 421 milyon parametre ve ModernBERT mimarisiyle metin üretmeden doğrudan olasılık dağılımı üretiyor.
- Sistem yükü altında gecikme süresi 143 milisaniyeden 467 milisaniyeye yükselerek eşik değerlerini zorladı.
Yazılım geliştiricisi, otonom yazılım ajanlarının rutin kararlarını metin tabanlı sohbet modelleri yerine doğrudan yapılandırılmış çıktı üreten uzman modellerle yönettiği test sonuçlarını açıkladı. Geliştirici, bulut tabanlı çalışan TypeSafe Jev modeli yerine açık ağırlıklı Laya modelini tercih ederek Apple Mac Studio üzerinde yerel bir altyapı kurdu. Bu mimariyle veri gizliliğinin sağlanması ve gecikme süreçlerinin yerel olarak kontrol edilmesi hedeflendi.
Sistemde yaklaşık 421 milyon parametreli ve ModernBERT tabanlı Laya modeli, FastAPI tabanlı bir ara yüzün arkasında konumlandırıldı. Bir durum ile soru metnini tek sekansa çevirip çift yönlü kodlayıcıyla işleyen model; seçenek, sıralı puan veya olasılık üreten tipli çıktılar sağladı. Geliştirici, modelin önüne uygunluk filtreleri koyarak yalnızca geçerli seçenekleri sundu; modelin kararlarını doğrudan yetkilendirme yerine bir tavsiye mekanizması olarak konumlandırdı.
Toplam 40 durumdan oluşan test kümesinde Laya destekli yönlendirici yüzde 92,5 başarı sağlarken, geleneksel kurallara dayalı yönlendirici yüzde 82,5 başarı oranında kaldı. Sakin bir ortamda 143,54 milisaniye olan p95 yanıt gecikmesi yoğun sistem yükü altında 466,69 milisaniyeye kadar yükseldi. Süreç, gecikme aşımlarında güvenlik ağlarının ve yerel yedek mekanizmalarının zorunlu olduğunu ortaya koydu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.