Araştırma RTK eklentisinin yapay zekayla kodlamayı ucuzlatmadığını ortaya koydu
Öne çıkanlar
- Quesma tarafından yapılan 1.740 testlik ölçümde RTK eklentisi DeepSeek maliyetlerini ortalama yüzde 17 artırdı.
- RTK göstergeleri yüzde 89 belirteç tasarrufu bildirse de bu veri gerçek fatura indirimini yansıtmadı.
- Modeller eksik terminal çıktısı nedeniyle daha fazla adım attığı için sıkıştırmadan elde edilen kazanım silindi.
Quesma tarafından yayımlanan bağımsız bir test çalışması, terminal çıktılarını sıkıştırarak belirteç tasarrufu vadeden Rust Token Killer (RTK) aracının toplam maliyeti düşürmediğini gösterdi. GitHub üzerinde 79 binden fazla yıldıza ulaşan popüler açık kaynaklı araç, terminal komut çıktılarındaki gereksiz ayrıntıları filtreleyerek büyük dil modellerine gönderilen veri boyutunu küçültmeyi hedefliyor. Yapılan ölçümlerde yaklaşık 1.500 dolar harcanarak Terminal-Bench 2.1 platformunda toplam 1.740 görev denemesi yürütüldü.
Claude Code ve OpenCode üzerinde Fable 5.0 ile DeepSeek V4 Pro modelleriyle yapılan testler, çıktı sıkıştırmasının genel fatura tutarına beklendiği gibi yansımadığını belgeledi. Fable modelinde ortalama maliyet RTK ile sadece yüzde 5 düşerken bu düşüşün neredeyse tamamı tek bir uç görevden kaynaklandı. DeepSeek tarafında ise ortalama görev maliyetleri yüzde 17 oranında arttı. Araç içi göstergelerin yüzde 89 belirteç tasarrufu bildirmesine rağmen gerçek maliyetlerin düşmemesi dikkat çekti.
Araştırmacılar, modern yapay zeka modellerinin komut satırını zaten verimli kullandığını ve çıktıların toplam fatura içindeki payının düşük kaldığını aktardı. Terminal çıktısının budanması sonucu modellerin eksik bağlam nedeniyle daha fazla ek adım (turn) attığı, önbellek okuma maliyetlerinin devreye girmesiyle tasarrufun sıfırlandığı belirtildi. Ek olarak araç filtreleme hatalarının modelleri kısır döngüye sokarak harcamaları katlayabildiği tespit edildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.