Google Research yapay zeka modelleri için uyku çerçevesini geliştirdi
Öne çıkanlar
- Google Research, LLM'lerde yıkıcı unutmayı önlemek için biyolojik uykudan esinlenen Sleep çerçevesini sundu.
- Model, Uzmanlar Karması mimarisiyle 10 milyon belirtece kadar bağlamı doğrudan parametrik hafızaya aktardı.
- AIME 24 matematik testinde yüzde 79,2 başarı sağlayan sistem, denetimli ince ayar ve pekiştirmeli öğrenme modellerini geride bıraktı.
Google Research araştırmacıları, büyük dil modellerinin yeni bilgileri unutmadan öğrenmesini sağlayan Sleep adlı yeni bir çerçeve geliştirdi. İnsan beyninin dinlenme ve hafıza pekiştirme süreçlerinden esinlenen yöntem, modellerin aktif etkileşim ile çevrimdışı pekiştirme arasında geçiş yapmasını sağlıyor. Çalışma, modellerin 10 milyon belirtece kadar olan uzun bağlamlı bilgileri parametrik hafızaya aktarabilmesini hedefliyor.
Yeni mimari, uyanıklık ve uyku olmak üzere iki temel aşamadan oluşuyor. Uyku aşamasında model, önceden ayrılmış Uzmanlar Karması (MoE) bellek bloklarını açarak kendi ürettiği sentetik pratik örnekleriyle ağırlıklarını güncelliyor. Bellek pekiştirme ve rüya görme adı verilen bu iki evre, düşük dereceli sıkıştırma ve rastgele uzman aktivasyonu yöntemlerini birleştirerek eski yetenekleri silmeden yeni verileri kalıcı hafızaya yazıyor.
Sistem, BABILong testinde 10 milyon belirtece kadar ölçeklenirken Mançu ve Kalamang dillerindeki çeviri testlerinde unutma sorununu sıfıra yakın seviyede tuttu. Model ayrıca SQuAD testinde yüzde 48,9 ve AIME 24 matematik değerlendirmesinde yüzde 79,2 doğruluk oranına ulaşarak denetimli ince ayar gibi mevcut temel yöntemleri geride bıraktı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.