Kısıtlı kod çözme ile tek geçişli karar modelleri inşa ediliyor
Öne çıkanlar
- Olası çıktı belirteçleri kısıtlanarak dil modelinden tek geçişte çoktan seçmeli karar alınıyor.
- Qwen 1.7B modeli CommonsenseQA testinde ince ayar sonrasında yüzde 62,41 doğruluğa ulaştı.
- Sıcaklık ölçekleme yöntemiyle modelin aşırı güven sorunu giderilerek puanlar kalibre edildi.
Büyük dil modellerinde çoktan seçmeli soruların yanıtlanması ve yapılandırılmış çıktı üretimi genellikle her belirteç için ayrı bir hesaplama adımı gerektiriyor. Yeni bir teknik yaklaşım, olası çıktıları belirli seçeneklerle sınırlandırarak tek bir çıkarım adımında olasılık tabanlı karar verilmesini sağlıyor. Qwen 1.7B modeli üzerinde denenen bu yöntem, sözlükteki diğer belirteçleri maskeleyerek sistemin yalnızca A, B, C, D ve E seçenekleri üzerinden tahmin yapmasına imkan tanıyor.
Yayımlanan deneylerde model, CommonsenseQA veri kümesinde doğrudan yüzde 59,38 doğruluk oranı yakaladı. Hızlı bir ince ayar çalışmasının ardından bu oran yüzde 62,41 seviyesine çıktı. Ancak doğrudan elde edilen belirteç olasılıklarının aşırı güven sergilediği görüldü. Modelin 0,90 ile 1,00 aralığında güven bildirdiği durumların yalnızca yüzde 70'inde doğru sonuca ulaştığı saptandı.
Aşırı güven sorununu gidermek ve olasılıkları gerçek doğruluk payıyla eşleştirmek amacıyla sıcaklık ölçekleme tekniği uygulandı. Belirlenen 3,80 civarındaki sıcaklık değeriyle olasılık dağılımı dengelendi ve modelin güven puanları ölçülen doğruluk oranlarıyla tutarlı hale getirildi. İlgili veri kümesi oluşturma, değerlendirme ve kalibrasyon kodları GitHub üzerinden geliştiricilerle paylaşıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.