Yüksek boyutlu istatistik rastgele kelimelerle dairesel geometriler üretiyor

Yapay zeka modellerindeki kelime gömmelerinin geometrik yapıları üzerine çalışan araştırmacı Jamie Simon, anlamsal bağı olmayan rastgele kelimelerin de dairesel desenler oluşturabildiğini gösterdi. Çalışma, Dhruva Karkada'nın yılın ayları gibi döngüsel kavramların gömme uzayında daire oluşturduğunu kanıtlayan araştırmasına dayanıyor. Simon, yüksek boyutlu istatistiksel olasılıkları kullanarak bu düzenli geometrinin ilgisiz kelime gruplarıyla da taklit edilebileceğini ortaya koydu.

Araştırmacı, 25 bin kelimelik bir sözlükten seçilebilecek 10 elemanlı alt kümelerin sayısının yaklaşık 3 çarpı 10 üzeri 37 olduğunu hesapladı. Bu geniş arama uzayında doğrudan tahmin yerine yinelemeli bir optimizasyon algoritması kullandı. Algoritmada her adımda çember desenine en az uyan kelime çıkarıldı ve sözlükteki en uygun alternatifle değiştirildi. Hedef fonksiyon PCA görselleştirmesinden devirsel Gram matrisi eşleşmesine çevrildiğinde, 10 bin boyutlu word2vec uzayında rastgele kelimelerle kusursuz bir çember elde edildi.

Elde edilen bulgu, yüksek boyutlu temsil uzaylarında yanıltıcı geometrik desenlerin kolaylıkla ortaya çıkabileceğini gösterdi. Simon, bulunan sahte çemberin genliğinin aylar kümesi kadar güçlü olmadığını ve bu yöntemin 50 kelimelik daha büyük dizilerde çalışmasının zor olduğunu belirtti. Yine de çalışma, otomatik özellik bulma algoritmalarının ve yapay zeka yorumlanabilirlik araştırmalarının sahte korelasyonlara karşı yeterli istatistiksel kısıtlama içermesi gerektiğini ortaya koydu.