Geliştiriciler büyük istemleri yerel Ollama modellerine taşırken bağlam sınırına takılıyor

Bulut tabanlı yapay zeka sağlayıcılarına olan bağımlılığı azaltmak isteyen geliştiriciler, istemlerini ve otonom aracılarını yerel donanımlarda barındırılan Ollama gibi açık kaynaklı çözümlere taşımaya başladı. Anthropic ve OpenAI gibi öncü şirketlerin kullanıcı oturum verilerini modellerini eğitmek amacıyla kullanma riski ve aşırı güvenlik kısıtlamaları bu geçişi hızlandırdı. Ancak tescilli modellerde sorunsuz çalışan büyük sistem istemlerinin yerel modellere aktarımı beklenmedik teknik sorunlar yaratıyor.

35 kilobaytlık kapsamlı önceden tanımlı istemlerle yapılan testlerde, yerel 27 milyar parametreli modellerin donanım bağlam sınırlarına hızla ulaştığı gözlemlendi. 128 gigabayt bellekli bir sistemde 65 bin token bağlam penceresi açılmasına rağmen, büyük istemler belleğin yüzde 14'ünü anında tüketiyor. Oturum geçmişi biriktikçe bağlam penceresi birkaç turda tükeniyor; bu durum modellerin aynı araçları tekrar çağırmasına, dosyaları mükerrer okumasına ve önceki talimatları tamamen unutmasına yol açıyor.

Geliştiriciler yerel yapay zeka ajanlarında başarı sağlamak için tek hedefe odaklanan istem yapılarına geçiş öneriyor. Oturum durumunun diske kaydedilmesi, araç çağrılarının sınırlandırılması ve olumsuz talimatlar yerine olumlu yönergelerin seçilmesi tükenme sorununu geciktiriyor. Uzmanlar, bulut servislerinin devasa bağlam pencerelerinin kötü yazılmış istemleri gizlediğini, yerel barındırmanın ise çok daha disiplinli bir mimari ve bağlam yönetimi gerektirdiğini belirtiyor.