Kuantize edilen akıl yürütme modelleri gereksiz yere düşünme süresini uzatıyor
Öne çıkanlar
- Kuantize modellerin hatalarının yüzde 52'sinde doğru cevaba ara adımlarda ulaşıldığı belirlendi.
- Modeller hassasiyet kaybı yaşanan noktalarda 'bekle' veya 'fakat' gibi belirteçleri daha sık seçti.
- Basit bir logit cezası düşünce zinciri uzunluğunu yüzde 12 ile 23 arasında kısalttı.
- Uygulanan yöntem kuantize modellerdeki aşırı düşünme kaynaklı hataları yüzde 58'e kadar düşürdü.
Araştırmacılar, büyük dil modellerini verimli çalıştırmak için uygulanan eğitim sonrası kuantizasyonun (PTQ) akıl yürütme modelleri üzerindeki etkilerini inceledi. Matematik, kodlama ve fen bilimleri alanlarındaki testler, agresif kuantizasyonun doğruluk oranını düşürürken düşünce zinciri (CoT) uzunluğunu artırdığını ortaya koydu. Kuantize modellerin yaşadığı başarısızlıkların yüzde 52'sinde, modellerin ara adımlarda doğru yanıta ulaştığı ancak bunu nihai yanıt olarak çıktı vermediği saptandı.
Çalışma kapsamında kuantize ve tam duyarlıklı modeller arasındaki belirteç düzeyindeki ayrışma ölçüldü. Yüksek sapma görülen noktalarda kuantize modellerin "bekle", "fakat" ve "alternatif olarak" gibi aşırı düşünme belirteçlerini orantısız şekilde seçtiği belirlendi. Bu durum, modelin doğru cevabı bulmasına rağmen tereddüt ederek akıl yürütme sürecini uzatmasına ve hatalı sonuçlar üretmesine yol açıyor.
Araştırma ekibi, eğitim gerektirmeyen bir logit cezası yöntemiyle bu belirteçlerin kullanımını sınırlandırdı. Boyutları 1,5 milyar ile 32 milyar parametre arasında değişen 5 modelde denenen yöntem, düşünce zinciri uzunluğunu yüzde 12 ile 23 arasında kısalttı. Yaklaşım, modellerin doğruluğunu korurken veya artırırken aşırı düşünme hatalarını yüzde 58'e varan oranda düşürdü.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.