Sistem komutlarında talimatı dört kez tekrarlamak model uyumunu artırıyor
Öne çıkanlar
- Sistem komutuna kuralın bir kez eklenmesi uyum oranını yüzde 74'e çıkardı.
- Aynı kuralın dört kez tekrarlanması modelin kurala uyumunu yüzde 97 seviyesine yükseltti.
- Dörtten fazla yapılan tekrarlar model performansına fazladan bir katkı sağlamadı.
- Aynı komutla yapılan otuz denemede modellerin önemli bir kısmı tutarsız sonuçlar verdi.
Yazılımcı ve araştırmacı Khola, büyük dil modellerinde sistem komutlarındaki talimat tekrarlarının koda yansımasını ölçen deneysel bir çalışma yürüttü. Gemini 2.5 Flash modeli üzerinde yapılan 1.080 testlik deneyde, bir kuralın sistem komutunda arka arkaya tekrarlanmasının kurala uyum oranını doğrudan yükselttiği belirlendi. Talimatın hiç verilmediği durumlarda model varsayılan alışkanlığına sadık kalırken, kural tek bir kez eklendiğinde başarı oranı yüzde 74 seviyesine çıktı.
Araştırma sonuçlarına göre talimatın arka arkaya dört kez tekrarlanması uyum oranını yüzde 97 düzeyine taşıdı. Ancak dörtten fazla tekrarların modele ek bir katkı sağlamadığı, sekiz ve on altı kez yapılan tekrarların da benzer başarı oranında kaldığı tespit edildi. Ayrıca modellerin kural ihlallerini genellikle kod blokları yerine özel olarak ayrışan dokümantasyon dizgilerinde sürdürdüğü ve tek seferlik komut testlerinin yanıltıcı sonuçlar ürettiği gözlemlendi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.