Yapay zeka önbelleklerinde LRU algoritmasını geçmek sanılandan daha zor çıktı
Öne çıkanlar
- Claude Code ve Mooncake verileriyle yapılan testlerde hiçbir alternatif politika LRU algoritmasını geçemedi.
- Önbellek kayıplarından kaynaklanan yeniden hesaplamaların yüzde 33,1'i 10 saniyeden kısa aralıklarda meydana geldi.
- Ajan oturumları arasındaki medyan bekleme süresi 2,1 saniye olarak ölçüldü.
Açık kaynaklı bir simülasyon çalışması, yapay zeka ajanlarında kullanılan anahtar-değer (KV) önbellek tahliye politikalarını gerçek verilerle inceledi. Araştırmacı, 393 Claude Code oturumuna ait 68 binden fazla isteği ve 23 bini aşkın Mooncake isteğini simülatörde çalıştırdı. Üretim sistemlerinde varsayılan olarak kullanılan LRU algoritmasını aşmak amacıyla geliştirilen üç farklı alternatif politika da başarısız oldu.
Elde edilen bulgular, akademik literatürdeki genel kabulün aksine önbellek kayıplarının boşta kalan oturumlardan değil, saniyeler içinde tekrarlanan araç çağrılarından kaynaklandığını gösterdi. Oturumlar arası medyan bekleme süresinin 2,1 saniye olduğu tespit edildi. Yeniden hesaplanan jetonların yüzde 33,1'i 10 saniyenin altındaki aralıklarda gerçekleşirken, 5 dakikadan uzun beklemeler toplam yeniden hesaplamanın yalnızca yüzde 17,5'ini oluşturdu.
Araştırma, kapasite sınırlarının etkin olduğu sistemlerde oturum canlılığı tahmininin işe yaramadığını ve LRU algoritmasının radiks yaprağı kısıtlamasıyla çok güçlü bir taban oluşturduğunu ortaya koydu. Geliştirici, kapasite kısıtlı ortamlarda öncelikli odak noktasının tahliye algoritmalarından ziyade sıkıştırma, katmanlama ve çalışma kümesine duyarlı zamanlama olması gerektiğini belirtti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.