Runinfra yapay zeka etmenleri için önbellek odaklı çıkarım hizmeti başlattı
Öne çıkanlar
- Runinfra, etmen çağrılarını önbelleğe alınmış sunucu kopyalarına yönlendiriyor.
- Önbellek isabet oranı son 24 saatlik trafikte yüzde 99,3 seviyesine ulaştı.
- Tek bir API anahtarı hem OpenAI hem de Anthropic kütüphanelerini destekliyor.
Runinfra, otonom yapay zeka etmenlerinin çıkarım maliyetlerini düşürmeyi ve yanıt sürelerini hızlandırmayı hedefleyen yeni altyapı hizmetini duyurdu. Platform, açık kaynaklı dil modellerini oturum duyarlı yönlendirme mimarisiyle sunarak tekrarlayan istekleri önbelleğe alınmış bağlamı tutan sunucu kopyalarına yönlendiriyor. Geliştiriciler tek bir API anahtarı üzerinden hem OpenAI hem de Anthropic yazılım geliştirme kitlerini kullanarak sisteme erişebiliyor.
Sistem, oturum kimliği veya çalışma alanı üzerinden otomatik eşleştirme yaparak önbellek isabet oranlarını artırıyor. Şirketin son 24 saatlik faturalandırılan etmen trafiği verilerine göre önbellek isabet oranları yüzde 99,3 seviyesine kadar ulaşıyor. GLM 5.3 Flash ve DeepSeek V4.1 Flash gibi modellerde liste fiyatına kıyasla 4,5 kata varan maliyet avantajı sağlanırken, 1 milyon girdi belirtecinin efektif maliyeti 0,031 dolara kadar geriliyor.
Platform kütüphanesinde Qwen3.8 27B, Ornith 1.5 35B ve Nemotron 3.5 Lightning 30B gibi açık modeller yer alıyor. Araç çağırma, JSON modu ve akış desteği sunan altyapı; Claude Code, Codex, Cline ve OpenCode gibi kodlama etmenleriyle komut satırı arayüzü üzerinden doğrudan entegre çalışabiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.