Yapay zeka modellerinden güven skoru istemek hatalı sonuçlar veriyor

Büyük dil modellerine dayalı yazılım ajanlarında doğrudan modelden güven veya olasılık puanı talep etme yöntemi, yanıltıcı sonuçlara yol açıyor. Modellerin metin tabanlı olarak ürettiği güven skorlarının arkasında gerçek bir olasılık hesabı bulunmuyor. Hava durumu tahminlerindeki kalibre edilmiş olasılık modellerinin aksine, dil modelleri güven puanlarını bilgiye dayalı bir ölçüm olarak değil, yalnızca bir sonraki kelime tahmini mantığıyla üretiyor.

Modellerin ürettiği skorlar, sistemin elindeki bilginin miktarını yansıtmıyor ve gerçek doğruluk payıyla önceden kalibre edilmiyor. İstemin kelime yapısı değiştirildiğinde, aynı soru tekrar sorulduğunda ya da model önceki cümlede olumlu bir dil kullandığında güven puanı nedensizce değişiyor. Ön eğitim sürecinde modeller sadece sonraki jeton tahminine göre optimize edildiği için, sayısal güven ifadeleri gerçek başarı oranıyla örtüşmeyen bir metin tamamlama adımından ibaret kalıyor.

Sistem tasarımcılarının güven skorunu modelden istemek yerine, harici kurallar ve geçmiş kayıtlar üzerinden hesaplaması gerekiyor. Arama sonuçlarının mevcudiyeti, cevapların tutarlılığı ve geçmiş doğruluk oranları gibi somut veriler üzerinden kural tabanlı bir mekanizma kurulabiliyor. Bu yöntem sayesinde üretilen tahminler gerçek sonuçlarla düzenli olarak karşılaştırılarak güvenilir ve kalibre edilmiş bir puanlama elde ediliyor.