Yapay zeka modelleri metin üretmeden doğrudan önbellek üzerinden anlaşıyor
Öne çıkanlar
- C2C yöntemi, modeller arasındaki iletişimi metin yerine KV-Cache temsilleri üzerinden kuruyor.
- Yeni mimari, geleneksel metin tabanlı iletişime göre ortalama 2,5 kat hızlanma sağlıyor.
- Sistem, tekil modellere kıyasla ortalama doğruluğu yüzde 6,4 ile yüzde 14,2 arasında artırdı.
Araştırmacılar, birden fazla büyük dil modelinin metin dizileri üretmeden doğrudan anlamsal veri paylaşmasını sağlayan Cache-to-Cache (C2C) yöntemini duyurdu. Mevcut çoklu model mimarileri birbirleriyle iletişim kurarken içsel temsilleri metne dönüştürdüğü için hem anlamsal kayıplar yaşıyor hem de belirteç üretiminden kaynaklanan gecikmelerle karşılaşıyor. C2C yaklaşımı, modeller arasındaki bilgi akışını KV-Cache üzerinden sağlayarak bu darboğazı ortadan kaldırıyor.
Geliştirilen sistem, bir sinir ağı aracılığıyla kaynak modelin KV-Cache belleğini hedef modelin önbelleğiyle eşleştirip birleştiriyor. Süreç kapsamında yer alan öğrenilebilir bir kapılama mekanizması, aktarımdan fayda sağlayacak hedef katmanları otomatik olarak belirliyor. Böylece ara metin üretimi aşaması tamamen atlanırken modellerin derin ve özelleşmiş anlamsal temsilleri doğrudan hedefe aktarılabiliyor.
Yayımlanan deney sonuçlarına göre C2C yöntemi, tekil modellere kıyasla ortalama yüzde 6,4 ile yüzde 14,2 arasında daha yüksek başarım sergiledi. Geleneksel metin tabanlı iletişim yöntemlerine göre doğruluğu yüzde 3,1 ile yüzde 5,4 artıran mimari, işlem gecikmesinde ise ortalama 2,5 kat hızlanma sağladı. Araştırma ekibi projenin kaynak kodlarını da açık erişime sundu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.