Araştırmacılar dil modellerini doğrudan bayt düzeyinde çalışacak şekilde dönüştürdü

Nature dergisinde yayımlanan yeni bir araştırma, büyük dil modellerinin alt kelime belirteçlerine (subword tokenization) olan bağımlılığını ortadan kaldıran yeni bir yöntem sundu. Geleneksel modeller metinleri kelime parçalarına ayırarak işlediği için kod ve biyolojik dizilimler gibi karakter hassasiyeti gerektiren alanlarda yetersiz kalıyordu. Araştırmacılar, mevcut modelleri sıfırdan eğitmek yerine bayt düzeyine uyarlayan ve "byteification" adı verilen iki aşamalı genel bir dönüştürme yöntemi geliştirdi.

Geliştirilen mimaride bayt akışları yerel bir kodlayıcı ve sınır tahmin modülü aracılığıyla yamalar (patch) halinde birleştiriliyor. Bu yamalar derin bir dönüştürücü (transformer) modelinde işlendikten sonra yerel kod çözücüyle yeniden bayt düzeyine ayrıştırılıyor. Ekip, sınır belirleyicide bir baytlık ileriye dönük bağlam kullanarak alt kelime belirteçlerinin sunduğu anlamsal bütünlüğü korumayı başardı. Sözlük boyutunu 512 birime çıkararak sınır tahmin yükünü sıfıra indiren yöntem, tipik ön eğitim bütçesinin yüzde 1'inden daha az kaynak harcadı.

Yöntem sayesinde Llama 3, Qwen ve Olmo modellerinden dönüştürülen Blama 8B, Bwen 8B ve Bolmo 7B üretildi. Deneylerde Bolmo 7B, sıfırdan eğitilen rakip byte modeli BLT 7B'ye göre STEM görevlerinde mutlak yüzde 16,5 performans artışı kaydetti. Modeller karakter düzeyinde akıl yürütme görevlerinde kaynak modellerini belirgin şekilde geride bıraktı ve yama başına bayt oranının artırılmasıyla çıkarım hızlarının esnek biçimde yükseltilebileceğini kanıtladı.