Yapay zekanın en büyüleyici yönlerinden biri, modellerin eğitim verilerindeki kalıpların ötesine geçerek "benzer" durumlara genelleme yapabilmesidir. Yapay zeka araştırmacıları, bu genelleme yeteneğini matematiksel olarak anlamak için geleneksel olarak İstatistiksel Öğrenme Teorisi'ni (Statistical Learning Theory - SLT) bir mercek olarak kullanmıştır. SLT, genellemeyi, tüm verilerin (eğitim, doğrulama, test) bağımsız ve özdeş bir veri dağılımından çekildiği bir süreç olarak modeller. Öğrenicinin amacı, bu temel dağılıma iyi bir yaklaşım öğrenmektir. Örneğin, bir rakam sınıflandırıcı eğitirken, veri dağılımından alınan görüntü örnekleriyle eğitilen modelin sadece eğitim verilerinde değil, genel dağılımda da iyi performans göstermesi hedeflenir.
SLT'nin ChatGPT gibi büyük dil modelleri hakkında doğru bildiği önemli noktalar bulunmaktadır. Bunlardan ilki, daha fazla verinin daha iyi sonuçlar doğurduğu ve ikincisi, doğru Transformer mimarisi gibi "endüktif önyargının" (inductive bias) model performansında kritik bir rol oynadığıdır. Ancak SLT'nin daha az bariz ama çok önemli bir dersi şudur: İyi genelleme, modellerin eğitim verisi dağılımının istatistiksel kalıplarını yansıtması anlamına gelir. Yani, eğitilmiş modellerin, eğitim sırasında gözlemledikleri frekansları ve kalıpları yeniden üretmesi beklenir. Bu öngörü, şaşırtıcı derecede doğru çıkmaktadır. Örneğin, bir dil modelinden rastgele bir sayı üretmesini istediğinizde, en sık verilen yanıt 7'dir; tıpkı insanlarda olduğu gibi. Bunun nedeni, dil modellerinin eğitim verilerini oluşturan insan yazılarında 7'nin en sık rastgele sayı olarak belirtilmesidir. Bu tür kalıpların doğru frekanslarda tahmin edilmesi, ince ayar (fine-tuning) ortamlarında da gözlemlenmektedir.
İstatistiksel öğrenme teorisi, yapay zeka modellerinin eğitim verilerindeki istatistiksel kalıpları nasıl genellediğini ve insan davranışlarını bile taklit edebildiğini açıklıyor.