LLM destekli kodlama ajanlarının maliyet yapısını inceleyen "Expensively Quadratic: The LLM Agent Cost Curve" başlıklı makale, özellikle sohbet geçmişini dil modeline tekrar tekrar gönderme sürecinde ortaya çıkan önbellek okuma maliyetlerinin, sohbet uzadıkça katlanarak arttığını vurguluyor. Bu durum, ajanların uzun süreli etkileşimlerde pahalı hale gelmesine neden oluyor.
Yazı, LLM sağlayıcılarının token girişleri, önbellek yazımları, token çıkışları ve önbellek okumaları için ücretlendirme yaptığını açıklıyor. Bir sohbetin her yeni adımında, önceki tüm konuşma geçmişi önbellekten okunur ve yeni çıktı önbelleğe yazılır. Bu döngüsel süreç, bağlam uzunluğu arttıkça önbellek okuma maliyetlerinin toplam maliyet içindeki payının hızla yükselmesine neden oluyor. Makale, bu artışın "kuadratik" bir eğilim gösterdiğini, yani maliyetin sohbet uzunluğunun karesiyle orantılı olarak arttığını belirtiyor.
Bir örnek üzerinden, 12.93 dolarlık bir sohbetin sonunda maliyetin %87'sinin önbellek okumalarından kaynaklandığı gösteriliyor; hatta 27.500 tokene ulaşıldığında maliyetin yarısı önbellek okumalarına ait oluyor. exe.dev'in LLM ağ geçidi verilerinden alınan 250 farklı Shelley sohbetinin analizi de bu eğilimi doğruluyor. Bu durum, LLM ajanlarının uzun süreli veya karmaşık görevlerde kullanılmasının maliyetini önemli ölçüde artırabileceğini ve maliyet optimizasyonunun kritik bir ihtiyaç olduğunu ortaya koyuyor.
LLM ajanlarının uzun süreli ve karmaşık görevlerdeki maliyet etkinliğini anlamak ve optimize etmek için önbellek okuma maliyetlerinin kuadratik artışını göz önünde bulundurmak hayati önem taşıyor.