Yapay zeka modellerinde üslup istemleri iç durumu beklenmedik şekilde değiştiriyor
Öne çıkanlar
- Benzer anlama gelen üslup istemleri modelin iç katmanlarında birbirinden oldukça farklı vektör sapmaları oluşturdu.
- Zıt anlamlı komutlar ilk katmanlarda benzer anlamsal profiller sergilerken ayrışma son katmanlarda belirginleşti.
- Kontrol grubu çıktıları, modellerin varsayılan olarak uzun ve ayrıntılı yanıt verme eğiliminde olduğunu doğruladı.
- Görev türü değiştikçe aynı üslup komutunun metin okunabilirliği ve sözdizimi üzerindeki etkisi farklılaştı.
Büyük dil modellerinde üslup değiştirmek için kullanılan kısa komutların modelin iç durumunu nasıl etkilediği teknik bir deneyle incelendi. Araştırmada Anthropic'in yapay zeka metinlerindeki basmakalıp üslubu engellemek için önerdiği ifadeler ile benzer stil yönlendirmeleri test edildi. Gemma-2-2b-it açık ağırlıklı modeli ve IFEval veri setindeki 538 temel istem kullanılarak yürütülen çalışmada, modellerin katmanlarındaki iç aktivasyonlar ve ilk belirteç olasılıkları analiz edildi.
Deney kapsamında üslup istemleri 11 farklı kümede toplandı ve zıt kutuplar karşılaştırıldı. Modelin katmanları incelendiğinde, zıt anlamlı komutların erken katmanlarda benzer anlamsal temsiller oluşturduğu, ayrışmanın ise sonraki planlama katmanlarında gerçekleştiği tespit edildi. İnsan algısına göre eş anlamlı görünen üslup ifadelerinin bile modelin vektör uzayında birbirinden çok farklı yönlere saptığı belirlendi.
Okunabilirlik metrikleri ve üslup analizleri, komutların etkisinin görev türüne göre büyük ölçüde değiştiğini ortaya koydu. Örneğin dostane ton komutlarının metin sadeliği açısından sade yazım komutlarından daha etkili olduğu gözlemlendi. Çalışma, manuel istem mühendisliğinin kırılgan yapısını vurgulayarak model üreticilerinin bu etkileri nicel veri tablolarıyla belgelemesi gerektiğini belirtiyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.