Spekülatif Örnekleme (Speculative Sampling), bir hedef örnekleme dağılımı ($p(x)$) ile aynı sonuçları elde etmek için bir taslak örnekleme dağılımı ($q(x)$) kullanma fikrine dayanır. Bu yöntem, özellikle büyük dil modelleri gibi alanlarda örnekleme hızını artırmayı hedeflerken, nihai dağılımın doğruluğundan ödün vermemeyi sağlar. Temel sorun, taslak dağılımdan doğrudan örnekleme yapıldığında, bazı token'ların hedef dağılıma göre fazla (over-sampled), bazı token'ların ise eksik (under-sampled) örneklenmesidir. Spekülatif Örnekleme, bu dengesizliği akıllı bir reddetme mekanizmasıyla düzelterek hedef dağılımı geri kazanır.
Fazla örneklenmiş token'ları düzeltmek için, bu token'lar $p(x_i) / q(x_i)$ olasılığıyla kabul edilir; bu oran 1'den küçük olduğundan, fazla örneklenenler reddedilerek sayıları azaltılır. Eksik örneklenmiş token'lar ise ek bir şans verilerek düzeltilir. Bu, "artık dağılım" (residual distribution) adı verilen yeni bir dağılım tanımlanarak yapılır. Artık dağılım, sadece eksik örneklenmiş token'ların olasılıklarını içerir. Fazla örneklenmiş bir token reddedildiğinde, artık dağılımdan yeniden örnekleme yapılır. Bu iki mekanizma bir araya geldiğinde, nihai örnekleme sonucunun tam olarak hedef dağılımı ($p(x_i)$) yansıttığı matematiksel olarak kanıtlanmıştır.
Bu yaklaşımın anahtar noktaları, fazla ve eksik örneklenmiş token'ların belirlenmesi, fazla örneklenmişlerin reddedilerek azaltılması, eksik örneklenmişlerin artık dağılım aracılığıyla artırılması ve böylece hedef dağılımın doğru bir şekilde elde edilmesidir. Bu sayede, daha hızlı bir taslak dağılım kullanarak, daha yavaş ve maliyetli olabilecek hedef dağılımın örnekleme kalitesine ulaşmak mümkün olur.
Spekülatif örnekleme, özellikle yapay zeka ve büyük dil modellerinde örnekleme hızını artırırken doğruluktan ödün vermeden performans iyileştirmeleri sunar.