Cartesia hiyerarşik ağlarla bayt seviyesinde dil modelleri geliştirdi

Yapay zeka araştırma şirketi Cartesia, büyük dil modellerinde kullanılan geleneksel belirteç (token) ayırma yöntemlerini geride bırakmayı hedefleyen hiyerarşik ağ mimarisini (H-Nets) tanıttı. Mevcut modellerin sabit sözlüklere dayanan BPE yöntemine bağımlılığını eleştiren araştırma, doğrudan ham bayt verisi üzerinden öğrenme gerçekleştiren yeni bir yaklaşım sunuyor. Yapılan ölçekleme deneyleri, tek aşamalı H-Net mimarisinin standart modellere kıyasla 1,28 kattan başlayan işlem gücü verimliliği sağladığını ortaya koydu.

Hiyerarşik ağlar, metinleri önceden belirlenmiş sabit parçalara ayırmak yerine model içinde dinamik ve uçtan uca öbekleme yapıyor. Kodlama alanındaki testlerde H-Net yapısı, eğitim kümesindeki dillerde medyan 2,04 kat, eğitimde yer almayan Prolog ve Haskell gibi dillerde ise 3,10 kattan 5,37 kata kadar hesaplama verimliliği artışı gösterdi. Modelin çıkarım anında bağlam içi dinamik parçalama yapabilmesi, özellikle geniş değişken isimleri ve karmaşık sözdizimi içeren kod bloklarında başarı oranını yukarı taşıdı.

Araştırmacılar, tek aşamalı modellerin yanı sıra Mamba-2 katmanları ve kayan pencereli dikkat mekanizması içeren iki aşamalı daha büyük bir H-Net mimarisi kurguladı. Açık kaynaklı SmolLM3 modelinin eğitim veri dağılımı temel alınarak yürütülen çalışmada, çok aşamalı yapının çok daha az hesaplama ve veri kullanarak benzer performans sergilediği bildirildi. Cartesia ekibi, mimarinin metin modellerinin ötesine geçerek biyoloji ve görüntü işleme gibi farklı alanlara uygulanacağını belirtti.