Bir geliştirici, yapay zeka destekli kodlama araçlarının token kullanımındaki büyük farklılıkları fark ettikten sonra, bu araçların bağlam penceresini (context window) nasıl doldurduğunu anlamak için "Context Lens" adında bir araç geliştirdi. Claude'un tek satırlık bir hata düzeltmesi için 23.000 token kullanmasına karşılık, Gemini'nin aynı iş için 350.000 token harcaması, bu araştırmanın temelini oluşturdu. Bağlam penceresi, bir dil modelinin yanıt üretirken sahip olduğu tüm bilgiyi temsil eder ve hem maliyet hem de modelin performans limitleri açısından kritik öneme sahiptir.
Araştırma, Express.js projesine kasıtlı olarak basit bir hata (res.send(null) fonksiyonunun boş gövde yerine "null" stringi döndürmesi) eklenerek gerçekleştirildi. Dört farklı yapay zeka kodlama aracı (Claude Opus 4.6, Claude Sonnet 4.5, GPT-5.3 Codex ve Gemini 2.5 Pro) aynı hata düzeltme göreviyle test edildi. Tüm araçlar hatayı başarıyla giderip testleri geçse de, Context Lens'in gösterdiği sonuçlar, her bir aracın bağlam penceresini doldurma şeklinin ve token kullanımının tamamen farklı olduğunu ortaya koydu. Araç tanımları, araç sonuçları, sistem istemleri ve kullanıcı konuşmaları gibi bileşenlerin her bir araçta farklı oranlarda yer alması, bu araçların bağlam yönetiminde farklı stratejiler izlediğini gösteriyor.
Bu çalışma, yapay zeka kodlama araçlarını kullanırken token maliyetleri ve modelin bağlam penceresi sınırlamaları konusunda dikkatli olunması gerektiğini vurguluyor. Araçların aynı sonucu farklı token maliyetleri ve bağlam yönetimi yaklaşımlarıyla elde etmesi, geliştiricilerin hangi aracı seçecekleri konusunda bilinçli kararlar vermeleri gerektiğini ortaya koyuyor. Özellikle büyük projelerde veya karmaşık görevlerde, bu farklılıklar hem maliyet hem de performans açısından önemli sonuçlar doğurabilir.
Yapay zeka kodlama araçlarının aynı görevi farklı token maliyetleri ve bağlam yönetimi stratejileriyle tamamlaması, geliştiricilerin araç seçiminde dikkatli olmaları gerektiğini gösteriyor.