Büyük dil modellerinde öz-gönderim varsayımı geçerliliğini yitiriyor
Öne çıkanlar
- Dil modellerinde öz-gönderim kabiliyeti mimari bir zorunluluk olarak değil, genel eğitimin doğal sonucu olarak ortaya çıktı.
- Zekanın temelinde tahminleme, sıkıştırma ve Kolmogorov karmaşıklığı prensipleri yer alıyor.
- Tarihsel 'tuhaf döngüler' tezi, pratik yapay zeka başarısı karşısında geçerliliğini yitirdi.
Bilgisayar bilimci Scott Aaronson, yapay zeka alanında uzun yıllar zekanın temel koşulu sayılan öz-gönderim ve 'tuhaf döngüler' tezinin güncel modellerle birlikte çöktüğünü açıkladı. Douglas Hofstadter'ın Gödel, Escher, Bach eserinde ortaya koyduğu ve Roger Penrose gibi teorisyenlerin de benimsediği bu yaklaşım, zekanın doğuşu için sistemin kendi yapısına gönderme yapabilen mekanizmalara ihtiyaç duyduğunu öne sürüyordu.
Aaronson, modern büyük dil modellerinin teknoloji yığınında, transformer mimarisinde veya eğitim süreçlerinde hiçbir öz-gönderim mekanizması bulunmadığını belirtti. Modellerin kendileri hakkında tutarlı konuşabilme yeteneği, dil modellerinin genel tahmin ve veri sıkıştırma kabiliyetinin doğal bir yan ürünü olarak ortaya çıkıyor. Bu durum, zekanın öz-gönderimden ziyade tahmin, veri sıkıştırma ve Kolmogorov karmaşıklığını sınırlandırma prensipleriyle doğrudan bağlantılı olduğunu kanıtlıyor.
Bilinç ve öznel deneyim gibi kavramların arkasındaki gizem henüz çözülmedi. Ancak Aaronson, ikna edici ve işlevsel bir diyalog zekası üretmek için öz-gönderim mekanizmalarının şart olduğu fikrinin tarihteki diğer hatalı bilimsel varsayımlar gibi geride bırakılması gerektiğini kaydetti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.