Sıkıştırma algoritması gzip yapay zeka olmadan metin üretti
Öne çıkanlar
- Sistem yapay sinir ağı veya eğitilmiş ağırlık parametresi içermiyor.
- Aday metinler DEFLATE algoritmasının sıkıştırma boyutuna göre puanlanıyor.
- Tek baytlık belirsizlik sorununu çözmek için beam search araması kullanılıyor.
Yazılım geliştiricisi Nathan, klasik dosya sıkıştırma aracı gzip'in bir dil modeli gibi kullanılabileceğini gösteren bir yöntem geliştirdi. Bilgi teorisindeki sıkıştırma ile tahmin arasındaki eşdeğerlik ilkesinden yola çıkan çalışma, hiçbir yapay sinir ağı veya eğitilmiş ağırlık parametresi barındırmıyor. Sistem, girdi olarak verilen metin istemlerini, ilgili veri kümesini en küçük boyutta sıkıştıran bayt dizilerini arayarak tamamlıyor.
Araç, DEFLATE algoritmasının 32 KiB boyutundaki kayan pencere mekanizmasını temel alıyor. Algoritma pencere içindeki tekrar eden dizileri referans göstererek dosya boyutunu küçülttüğü için, metin gövdesine benzerlik taşıyan devam dizileri çok daha az bayt kaplıyor. Geliştirici, tek baytlık sıkıştırma uzunluğunun yeterli sinyal üretmemesi sorununu aşmak için çok adımlı bir beam search algoritması tasarladı.
Python standart kütüphanesindeki zlib modülüyle yazılan ve açık kaynak olarak paylaşılan araç, Shakespeare metinleriyle beslendiğinde tiyatro repliklerine benzer yapılar kurmayı başardı. Geliştirici, modelin kendi ürettiği metni tekrar ederek döngüye girmesini engellemek için bağlam penceresinde yalnızca üretilen son baytların tutulduğunu belirtti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.