Yapay zeka istemcilerinin girdi yapısı enerji tüketimini doğrudan etkiliyor

Neuralwatt platformunun verilerine dayanan yeni bir analiz, yapay zeka istemcilerinin ve aracı çerçevelerinin (harness) istem önbelleği (prompt cache) kullanımındaki farklılıklarının GPU enerji tüketimini yaklaşık iki katına çıkardığını gösterdi. Bulut trafiği üzerinden yapılan ölçümlere göre, istem metninin başında yapılan küçük değişiklikler sunucunun anahtar-değer (KV) önbelleğini geçersiz kılarak tüm girdinin baştan işlenmesine yol açıyor. Bu durum, özellikle yüz binlerce belirteç içeren uzun kodlama oturumlarında ciddi bir hesaplama yükü oluşturuyor.

Araştırmacılar, OpenCode, Pi ve omp gibi popüler açık kaynak kodlama araçlarını laboratuvar ortamında DeepSeek V4.1 ve GLM-5.3 modelleri üzerinde test etti. Yapılan incelemelerde, istemcilerin sistem mesajına güncel tarih eklemesi, akıl yürütme düzeyini çalışma anında değiştirmesi veya araç listesini alfabetik sırayla yeniden düzenlemesi gibi hamlelerin önbelleği kırdığı belirlendi. 128 bin belirteci aşan uzun oturumlarda meydana gelen tek bir önbellek kaybı, olağan bir adıma kıyasla yaklaşık 600 kat daha fazla ön hesaplama yükü ve yüksek gecikme süresi yarattı.

Platform analizi, önbellek kırılmalarının istemcinin istem metnine yalnızca sona ekleme (append-only) yapacak şekilde tasarlanmasıyla önlenebileceğini ortaya koydu. Deepseek-harness gibi araçların sistem mesajını sabit tutarak ve durum güncellemelerini sohbet geçmişinin sonuna ekleyerek yüksek önbellek başarı oranı yakaladığı kaydedildi. Geliştiricilere, uzun oturumlarda ayar değişikliklerini erken aşamada sabitlemeleri ve istem geçmişini geriye dönük düzenlemekten kaçınmaları önerildi.